神经排序崩溃：权重衰减和小的内类变异性带来低秩偏差
内容提要
该文综述多项研究，探讨神经网络的隐性偏差。批归一化和权重衰减可能促成神经崩溃；深度网络倾向低秩解以提升泛化；稳定秩初始化可加速收敛；图神经网络存在超平滑与秩崩溃，Kronecker积之和可缓解；权重衰减实为改变训练动态。
延伸解读
神经崩溃的几何机制
文章指出，批归一化和权重衰减可能是神经崩溃出现的基本因素。神经崩溃表现为最后一层分类器中类内特征高度相似、类间特征差异最大化的几何结构。这一发现将训练技巧与网络内部表示联系起来，提示读者在分析模型行为时，需关注归一化和正则化对特征几何的塑造作用。
低秩偏见的普遍性与泛化
多项研究表明，深度网络倾向于寻找低秩解，这种偏见存在于不同深度、宽度、初始化和训练过程中，并能提升CIFAR和ImageNet的泛化性能。这意味着低秩结构并非缺陷，而是网络归纳偏置的一部分，理解其来源有助于设计更有效的训练策略。
图神经网络的秩崩溃与缓解
深度图神经网络存在超平滑和特征过相关性问题，导致节点表示秩崩溃。文章提出Kronecker积之和作为有益属性，可明确防止超平滑、超相关和秩崩溃。这为图神经网络的设计提供了理论指导，提示读者关注模型深度增加时表示能力的退化风险。
权重衰减的角色转变
文章提出统一视角，认为权重衰减并非显式正则化器，而是以期望的方式改变训练动态。这一观点挑战了传统理解，提示读者在调整权重衰减时，应关注其对优化轨迹的影响，而非仅视为防止过拟合的手段。
Q&A
神经崩溃是什么？
神经崩溃是最后一层神经网络分类器中出现的几何结构。
批归一化和权重衰减对神经崩溃有什么影响？
批归一化和权重衰减可能是神经崩溃出现的基本因素。
深度神经网络为什么倾向于低秩解？
深度神经网络可归纳地更倾向于寻找低秩嵌入的解，这种偏见在网络深度和宽度、初始化和训练过程中都存在，并且能够提高CIFAR和ImageNet数据集的泛化性能。
稳定秩初始化有什么作用？
仅稳定秩初始化即可加速收敛速度。
图神经网络中的超平滑和秩崩溃问题如何缓解？
根据理论，提出了作为有益属性的Kronecker乘积之和，可以明确防止超平滑、超相关和秩崩溃。
权重衰减在训练中起什么作用？
权重衰减不是一个显式正则化器，而是以期望的方式改变训练动态。
