本文探讨大模型训练中算力分配的核心问题：模型参数与训练数据应如何配比。Kaplan 研究建议偏重模型规模，而 Chinchilla 研究通过三种方法证明两者应等比例增长，并指出前者因学习率调度设计缺陷导致结论偏差。文章还讨论了推理成本、数据受限等现实约束对最优配比的影响，以及相关复现争议。

该文综述语言模型缩放规律研究：给定计算预算下，模型大小与训练标记数应等量缩放，据此训练的Chinchilla显著优于Gopher、GPT-3；损失与模型规模、数据量、计算量呈幂律关系。研究还涉及小模型预训练效果、推理能耗基准、缩放规律在模型开发与选型中的应用、逆缩放现象及成因，以及数据受限下重复数据训练与计算优化缩放规律。