本文探讨大模型训练中算力分配的核心问题：模型参数与训练数据应如何配比。Kaplan 研究建议偏重模型规模，而 Chinchilla 研究通过三种方法证明两者应等比例增长，并指出前者因学习率调度设计缺陷导致结论偏差。文章还讨论了推理成本、数据受限等现实约束对最优配比的影响，以及相关复现争议。

基于大型语言模型的扩展规律需要考虑推理成本。研究人员发现，具有大量推理需求的LLM应该训练比Chinchilla-optimal更小且更长的模型。