过度参数化对锐度感知最小化的影响：实证与理论分析

Sharpness-Aware Minimization (SAM)是一种有希望的训练方法，可以在存在标签噪声的情况下提高神经网络的泛化性能。本文填补了对非线性神经网络和分类任务中SAM工作原理的理解空白。研究表明，在某个数据模型和两层卷积ReLU网络中，SAM优于随机梯度下降（SGD）。结果解释了SAM的好处，特别是它能够防止早期噪声学习并促进更有效的特征学习。通过对合成和真实数据的实验证实了该理论。