BriefGPT - AI 论文速递
·
平均梯度外积：作为深度神经崩溃机制
💡
原文中文，约400字，阅读约需1分钟。
📝
内容提要
研究发现深度神经网络中的神经崩溃现象主要由平均梯度外积（AGOP）引起，AGOP在随机初始化的神经网络中会导致神经崩溃。
🎯
关键要点
- 深度神经崩溃（DNC）是深度神经网络（DNNs）中最终层数据表示的刚性结构。
- 本研究表明，DNC 主要通过平均梯度外积（AGOP）进行深度特征学习。
- 权重的右奇异向量和奇异值是 DNNs 中类内变异性倒塌的原因之一，且与 AGOP 的奇异结构高度相关。
- 实验和理论证明 AGOP 在随机初始化的神经网络中引起神经崩溃。
- Deep Recursive Feature Machines 是 AGOP 在卷积神经网络中进行特征学习的抽象方法，表现出 DNC 现象。
➡️
