激活稀疏性的理论解释:通过平坦极小值和对抗性鲁棒性

💡 原文中文,约200字,阅读约需1分钟。
📝

内容提要

研究发现,线性ResNets的零初始化在在线性神经网络训练中会收敛于最平滑的最小值,这些最小值对应着接近平衡网络。相邻层的权重矩阵在平坦的极小值解中相互耦合,形成了明显路径,用于体验最大增益的信号。

🏷️

标签

➡️

继续阅读