神经网络如何学习：隐含于随机梯度下降的正则化效应
原文中文，约1300字，阅读约需4分钟。
📝
内容提要
本文研究了显式正则化与随机梯度下降（SGD）在深度神经网络中的作用，发现显式正则化对高参数化网络的成功贡献更大。适当的学习率能提高SGD的准确性，隐式正则化项有助于网络向简单模型发展。研究表明，SGD在超参数化区域具有良好的泛化能力，并提出了一个框架来研究其隐式偏差。
❓
Q&A
显式正则化在高参数化神经网络中的作用是什么？
显式正则化对高参数化神经网络的成功贡献大于随机梯度下降（SGD）方法。
适当的学习率如何影响SGD的准确性？
适当的学习率能使SGD的迭代路径更接近梯度下降路径，从而提高测试准确性。
隐式正则化项是如何驱动网络向简单模型发展的？
通过对训练标签进行独立噪声扰动，隐式正则化项促使网络向简单模型发展。
SGD在超参数化区域的泛化能力如何？
SGD在超参数化区域具有良好的泛化能力，能够学习从线性分类器到复杂函数的分类器。
使用SGD训练的神经网络的第一层权重有什么特征？
使用SGD训练的神经网络的第一层权重收敛于真实模型的向量所张成的主子空间。
如何研究SGD在过参数化模型中的隐式偏差？
可以通过一个描述参数极限动态的随机微分方程的通用框架来研究SGD在过参数化模型中的隐式偏差。
🏷️
