本文研究了神经网络训练动态,特别是初始化规模对多层模型中“惰性”与“丰富”区域转换的影响。结果表明,初始尺度在训练中起主导作用,影响泛化能力。稀疏初始化和网络宽度的增加显著提高样本效率,惰性训练现象不仅限于过度参数化网络。
完成下面两步后,将自动完成登录并继续当前操作。