本文探讨了大规模语言模型的缩放定律，研究了模型大小、数据集和计算量之间的幂律关系。发现语言模型在不同令牌位置的学习均匀，网络宽度或深度变化对性能影响较小。提出了时间缩放定律，并通过实验验证了多尺度变压器模型的优势。

本文综述神经缩放定律研究：模型性能随规模、数据量和计算量呈幂律关系，改进模型只改变误差水平而不影响幂指数。研究覆盖机器翻译、语言建模、图像处理等领域，并探讨合成数据引发的模型崩溃、图模型扩展及计算优化设计。

本文综述神经缩放规律：交叉熵损失与模型大小、数据量、计算量呈幂律关系；编码器与解码器扩展效应不同，需优化容量分配；构造偏差显著影响扩展表现；微调存在前幂阶段，预学习数据量可提升拟合；多语言模型中译入英语的模型有效参数更多；缩放规律可用于模型选型与加速开发。

该文综述语言模型缩放规律研究：给定计算预算下，模型大小与训练标记数应等量缩放，据此训练的Chinchilla显著优于Gopher、GPT-3；损失与模型规模、数据量、计算量呈幂律关系。研究还涉及小模型预训练效果、推理能耗基准、缩放规律在模型开发与选型中的应用、逆缩放现象及成因，以及数据受限下重复数据训练与计算优化缩放规律。