该文综述语言模型缩放规律研究：给定计算预算下，模型大小与训练标记数应等量缩放，据此训练的Chinchilla显著优于Gopher、GPT-3；损失与模型规模、数据量、计算量呈幂律关系。研究还涉及小模型预训练效果、推理能耗基准、缩放规律在模型开发与选型中的应用、逆缩放现象及成因，以及数据受限下重复数据训练与计算优化缩放规律。