本文研究了神经网络训练动态,特别是初始化规模对多层模型中“惰性”与“丰富”区域转换的影响。结果表明,初始尺度在训练中起主导作用,影响泛化能力。稀疏初始化和网络宽度的增加显著提高样本效率,惰性训练现象不仅限于过度参数化网络。
神经正切核(NTK)由Jacot等人提出,用于解释神经网络经梯度下降训练时的演化。其核心结论是:当网络宽度趋于无穷时,NTK在初始化时收敛为确定性核,并在训练中保持不变,使无限宽网络等价于线性模型,从而保证收敛到全局最优。文章还介绍了NTK与高斯过程、惰性训练的联系。
完成下面两步后,将自动完成登录并继续当前操作。