这篇文章介绍了修改后的缩放定律,考虑了训练和推理成本。研究人员发现,通过在更多数据上训练较小但同样强大的模型,可以弥补额外的训练成本。模型质量随着参数标记数量的增加而提高。文章还讨论了如何估计实际成本,并提出了适用于实际部署的目标函数。作者建议在推理需求较高的情况下,可以训练更长时间的模型,以提高质量。
完成下面两步后,将自动完成登录并继续当前操作。