研究发现,线性ResNets的零初始化在在线性神经网络训练中会收敛于最平滑的最小值,这些最小值对应着接近平衡网络。相邻层的权重矩阵在平坦的极小值解中相互耦合,形成了明显路径,用于体验最大增益的信号。
完成下面两步后,将自动完成登录并继续当前操作。