BriefGPT - AI 论文速递
·
平均梯度外积：作为深度神经崩溃机制
原文中文，约400字，阅读约需1分钟。
📝
内容提要
研究发现深度神经网络中的神经崩溃现象主要由平均梯度外积（AGOP）引起，AGOP在随机初始化的神经网络中会导致神经崩溃。
🎯
关键要点
-
深度神经崩溃（DNC）是深度神经网络（DNNs）中最终层数据表示的刚性结构。
-
本研究表明，DNC 主要通过平均梯度外积（AGOP）进行深度特征学习。
-
权重的右奇异向量和奇异值是 DNNs 中类内变异性倒塌的原因之一，且与 AGOP 的奇异结构高度相关。
-
实验和理论证明 AGOP 在随机初始化的神经网络中引起神经崩溃。
-
Deep Recursive Feature Machines 是 AGOP 在卷积神经网络中进行特征学习的抽象方法，表现出 DNC 现象。
🏷️
