深度 ReLU 神经网络中的几何引起的隐式正则化
内容提要
深度学习泛化研究表明，隐式正则化通过优化算法控制网络复杂度，是模型成功的关键。研究从理论和实证角度分析了ReLU网络参数空间几何、梯度下降的自动平衡机制及低秩张量正则化，并探索了点云隐式表示、噪声扰动等方法，揭示了优化在泛化中的核心作用。
延伸解读
隐式正则化的核心机制
文章指出，深度ReLU网络的泛化能力并不主要由网络规模决定，而是受优化算法隐含的正则化控制。随机初始化和随机梯度下降会引导网络输出在样本间直线插值，并保持较低复杂度。梯度下降还能自动平衡各层参数范数，使同质多层函数的层间平方范数差异保持不变。这些机制共同作用，让网络在过参数化下仍能有效泛化。
几何视角下的ReLU网络
从参数空间几何出发，ReLU层对输入域形成自然划分，每个区域内可简化为多面角投影加仿射变换。这种结构简化了决策边界的描述，并揭示单隐藏层ReLU网络除仿射变换外只能生成d个不同决策边界。增加层数会改变几何复杂性，为理解网络表达与泛化提供了新角度。
低秩与局部性正则化
文章探讨了分层张量因式分解模型中的隐式正则化，证明该模型会自动进行低秩张量秩的隐藏正则化，并实现与卷积网络对应的局部性隐式正则化。基于此理论设计的显式惩罚局部性方法，在非本地任务上提升了现代卷积神经网络性能，挑战了必须改变网络结构的传统观点，展示了理论分析指导性能增强的潜力。
噪声扰动与点云表示
在训练中对标签施加独立噪声扰动，可产生隐式正则化项，驱动网络趋向简单模型，文章以矩阵感知等场景进行了说明。此外，点云隐式神经表示利用几何正则化损失，鼓励网络在输入点云上消失并具有单位范数梯度，从而高保真地表示表面形状，避免不良零损失解，在细节和保真度上优于先前方法。
Q&A
隐式正则化在深度学习中起什么作用？
隐式正则化通过优化算法控制网络复杂度，是深度学习模型泛化和成功的关键因素。
梯度下降如何自动平衡ReLU网络各层的大小？
对于多层同质函数，梯度下降的梯度流会强制不同层之间的平方范数差异保持不变，从而自动平衡所有层的大小。
ReLU层的几何结构如何解释？
ReLU层参数对输入域进行自然划分，在每个划分区域内ReLU层可大大简化，可看作多面角投影后接仿射变换，与卷积网络描述一致。
如何从点云直接学习隐式神经表示？
提出一种新范式，使用简单损失函数鼓励神经网络在输入点云上消失并具有单位范数梯度，利用零水平集表示表面形状，避免不良零损失解，实现高保真度。
噪声扰动如何实现隐式正则化？
在每次迭代中对训练标签进行独立噪声扰动，得到一个隐式正则化项，驱动网络向简单模型发展。
分层张量因式分解模型中的隐式正则化是什么？
该模型会自动进行低阶张量秩的隐藏正则化，实现与卷积网络相应的局部性隐式正则化，基于此可设计显式惩罚局部性的正则化方法提升性能。
