我们研究了Maloney等人的三参数神经缩放模型,涉及数据复杂性、目标复杂性和模型参数数目。通过随机梯度下降训练,我们推导出适用于所有迭代次数的损失曲线,并分析了模型参数数目的最优值。在数据复杂性和目标复杂性平面上确定了4个相位及其相界,受模型容量和优化器噪声等因素影响。通过数学证明和数值证据,我们得出了这些相位的缩放规律指数。
完成下面两步后,将自动完成登录并继续当前操作。