本文探讨了大规模语言模型的缩放定律，研究了模型大小、数据集和计算量之间的幂律关系。发现语言模型在不同令牌位置的学习均匀，网络宽度或深度变化对性能影响较小。提出了时间缩放定律，并通过实验验证了多尺度变压器模型的优势。
我们研究了语言模型性能的经验缩放法则，发现损失与模型大小、数据集大小和训练计算量呈幂律关系。模型越大，样本效率越高，最佳训练策略是在适量数据上训练大型模型，并在收敛前提前停止。
完成下面两步后，将自动完成登录并继续当前操作。
