神经网络如何学习：隐含于随机梯度下降的正则化效应
内容提要
本文研究了显式正则化与随机梯度下降（SGD）在深度神经网络中的作用，发现显式正则化对高参数化网络的成功贡献更大。适当的学习率能提高SGD的准确性，隐式正则化项有助于网络向简单模型发展。研究表明，SGD在超参数化区域具有良好的泛化能力，并提出了一个框架来研究其隐式偏差。
延伸解读
显式正则化与SGD的贡献对比
文章指出，对于高参数化神经网络，显式正则化的成功贡献大于随机梯度下降（SGD）。这意味着在实际训练中，除了依赖SGD的隐式正则化，显式正则化方法如权重衰减等可能对模型泛化更为关键。这一结论挑战了以往认为SGD隐式正则化足以解释泛化能力的观点，提示研究者和实践者应重新评估显式正则化的作用。
学习率对SGD隐式正则化的影响
适当增大学习率可使SGD的迭代路径更接近梯度下降路径，并引入隐式正则化项，从而提高测试准确性。这解释了为什么在训练深度网络时，学习率的选择不仅影响优化速度，还影响泛化性能。读者应注意，学习率过大可能导致不稳定，过小则隐式正则化效应减弱，因此需要权衡。
隐式偏差与简单模型偏好
通过向训练标签注入独立噪声，SGD的隐式正则化项驱动网络向简单模型发展。这种隐式偏差在单神经元ReLU网络中表现为支持向量的隐式偏差，有助于解释其良好泛化能力。这表明SGD不仅优化训练误差，还隐式地偏好简单解，从而在过参数化区域实现良好泛化。
SGD与显式正则化的可替代性
文章通过CIFAR-10实验证明，SGD的隐式正则化可以完全被显式正则化替代，且全批量训练受限于优化性质。这意味着小批量训练带来的泛化优势并非不可替代，显式正则化方法可能达到类似效果。这一发现对训练策略的选择有重要启示，但需注意实验条件可能影响结论的普适性。
Q&A
显式正则化在高参数化神经网络中的作用是什么？
显式正则化对高参数化神经网络的成功贡献大于随机梯度下降（SGD）方法。
适当的学习率如何影响SGD的准确性？
适当的学习率能使SGD的迭代路径更接近梯度下降路径，从而提高测试准确性。
隐式正则化项是如何驱动网络向简单模型发展的？
通过对训练标签进行独立噪声扰动，隐式正则化项促使网络向简单模型发展。
SGD在超参数化区域的泛化能力如何？
SGD在超参数化区域具有良好的泛化能力，能够学习从线性分类器到复杂函数的分类器。
使用SGD训练的神经网络的第一层权重有什么特征？
使用SGD训练的神经网络的第一层权重收敛于真实模型的向量所张成的主子空间。
如何研究SGD在过参数化模型中的隐式偏差？
可以通过一个描述参数极限动态的随机微分方程的通用框架来研究SGD在过参数化模型中的隐式偏差。
