神经红移：随机网络不是随机函数
内容提要
该文综述神经网络隐式偏差研究，指出深度网络因结构冗余而偏好简单、低频、低秩函数，从而具备良好泛化能力。研究涵盖随机插值器、ReLU网络频率偏向、PAC-Bayes泛化保证及训练不变性，并探讨参数扰动对频率表达的影响。
延伸解读
结构冗余如何塑造简单函数偏好
文章指出，神经网络参数化中的冗余性导致函数空间上的先验分布偏向于简单函数。具体而言，当存在狭窄的教师网络时，随机插值器通常泛化良好，因为简单函数需要较少的相关参数即可表示，从而降低了样本复杂度。这种偏好源于结构冗余，而非显式正则化，为理解深度网络的隐式偏差提供了新视角。
频率偏向与数据流形复杂性的互动
通过傅里叶分析，深度ReLU网络被证明偏向于低频函数。然而，随着数据流形复杂性的增加，学习高频函数反而变得更容易。但参数扰动会影响频率成分的鲁棒性和精确表达，这意味着网络的频率偏好并非绝对，可能受训练过程和扰动的影响，在实际应用中需注意频率表达的稳定性。
泛化保证与训练不变性的理论进展
基于PAC-Bayes理论的方法能够保证目标函数在产生高似然训练集时具有良好的期望泛化，且普适性更好。此外，研究还提出了训练不变性，例如在梯度流极限下，深度线性网络的权重收敛于秩1矩阵，类似现象在全连接和跳跃连接的ReLU网络中也存在。这些理论进展为理解深度网络的泛化提供了更严格的框架。
低秩偏好与鲁棒性启示
深度神经网络倾向于寻找低秩嵌入的解，这种偏见在网络深度、宽度、初始化和训练过程中均有体现，并能提升CIFAR和ImageNet等数据集的泛化性能。同时，固定大部分权重可在性能上与训练所有权重相媲美，这为创建更强鲁棒性的表示提供了可能。但需注意，网络对微小扰动的敏感性可能导致误分类，平衡泛化与鲁棒性仍是挑战。
Q&A
为什么随机初始化的神经网络插值器也能有好的泛化能力？
因为神经网络参数化存在结构冗余，这种“平坦”先验在函数空间上引发了对简单函数的偏好，使得学习所需样本复杂度仅与非冗余参数数量大致相当，从而泛化良好。
深度ReLU网络为什么更倾向于学习低频函数？
通过傅里叶分析发现，深度ReLU网络存在频率偏向，偏好低频函数；随着数据流形复杂性增加，学习高频函数会变得更容易，但参数扰动会影响频率成分的鲁棒性和精确表达。
深度神经网络为什么能很好地泛化，即使参数数量超过数据点？
深度神经网络的参数-函数映射具有指数偏向简单函数的隐式正则化，这种内在简单性有助于解释其良好泛化性能；同时PAC-Bayes理论可保证目标函数产生高似然训练集时的期望泛化。
深度线性网络在训练中权重会收敛到什么结构？
在使用对数或指数损失函数对线性可分数据训练时，梯度流和梯度下降的极限情况下，深度线性网络的权重会收敛到秩1矩阵；类似现象在全连接和跳跃连接的ReLU前馈网络中也有体现，并存在一些训练不变性。
深度神经网络是否倾向于寻找低秩解？
是的，深度神经网络归纳地更倾向于寻找低秩嵌入的解，这种偏见在网络深度、宽度、初始化和训练过程中都存在，并能提高CIFAR和ImageNet数据集的泛化性能。
参数扰动如何影响神经网络的频率表达？
参数扰动会影响频率成分的鲁棒性和精确表达，具体表现为对高频函数表达的干扰，但文章未详细展开扰动机制。
