本研究提出了一种多幂律经验法则，揭示了大型语言模型在不同学习率调度下的预训练损失演变，能够有效预测损失曲线并优化学习率调度，超越传统方法。

我们研究了Maloney等人的三参数神经缩放模型，涉及数据复杂性、目标复杂性和模型参数数目。通过随机梯度下降训练，我们推导出适用于所有迭代次数的损失曲线，并分析了模型参数数目的最优值。在数据复杂性和目标复杂性平面上确定了4个相位及其相界，受模型容量和优化器噪声等因素影响。通过数学证明和数值证据，我们得出了这些相位的缩放规律指数。