语言模型应该训练多长时间？
内容提要
这篇文章介绍了修改后的缩放定律，考虑了训练和推理成本。研究人员发现，通过在更多数据上训练较小但同样强大的模型，可以弥补额外的训练成本。模型质量随着参数标记数量的增加而提高。文章还讨论了如何估计实际成本，并提出了适用于实际部署的目标函数。作者建议在推理需求较高的情况下，可以训练更长时间的模型，以提高质量。
延伸解读
从训练最优到总成本最优
传统Chinchilla缩放定律只优化训练计算量，但实际部署中推理成本往往更高。本文提出的修正缩放定律以固定模型质量为前提，最小化训练加推理的总计算量或总成本。这意味着，如果预期推理需求很大，就应该训练更小的模型并使用更多数据，即使训练成本增加，也能在推理阶段节省更多。
极端训练比例下的模型质量
研究团队训练了47个不同规模的模型，数据预算从每参数10个标记到10,000个标记。实验发现，即使训练到极端比例，模型损失仍在下降，下游任务表现也持续提升，未观察到饱和点。这表明“过度训练”小模型是可行的，但作者也指出极端规模下仍需进一步验证。
成本优化比计算优化更关键
训练和推理的浮点运算成本不同，推理硬件、价格和利用率各异。作者将目标从最小化总FLOPs改为最小化总成本，并分别估算训练、预填充和解码阶段。案例显示，一个Chinchilla风格的70B模型在给定推理需求下，计算量仅比最优模型高1%，但成本却高出36%。
对实际部署的启示
对于推理需求高的场景，建议训练更小、更长时间的模型。例如，原本计划训练13B模型并预期2万亿推理标记，可改为训练7B模型并使用2.1倍训练数据，达到相同质量，总计算量减少17%。这一思路已应用于DBRX模型（132B参数，12万亿标记）。
Q&A
修改后的缩放定律是如何考虑训练和推理成本的？
修改后的缩放定律同时考虑了训练和推理的成本，提供了在期望质量和推理需求下最有效的训练和部署模型的方法。
在推理需求高的情况下，模型训练时间应该如何调整？
在推理需求高的情况下，建议训练更长时间的模型，以提高模型质量。
较小模型在大量数据上训练的优势是什么？
较小模型在足够的数据上训练可以匹配较大模型的质量，从而降低部署成本。
Chinchilla缩放定律的核心观点是什么？
Chinchilla缩放定律强调在固定的训练计算预算下，模型大小与训练时长之间的平衡，以实现最高质量的模型。
如何估计训练和推理的实际成本？
通过将训练、预处理和解码的成本分开估算，可以更准确地反映实际部署中的成本。
研究中提到的DBRX模型有什么特点？
DBRX模型具有132B参数，训练了12万亿个标记，旨在提高模型的质量和性能。
