Enhancing Sharpness-Aware Minimization through Learning Perturbation Radius
内容提要
本文介绍了Sharpness-Aware Minimization (SAM)及其改进版本，旨在提高深度神经网络的泛化能力。研究表明，SAM及其变体在多个数据集上表现优异，尤其在计算效率和模型准确性方面。通过新的训练策略和理论分析，提出了多种优化模型训练的方法，以实现更好的泛化性能。
延伸解读
SAM的核心思想与优势
SAM通过同时最小化损失值和损失锐度来提升模型泛化能力。其核心是在局部参数空间中寻找对权重扰动不敏感的平坦最小值，从而增强模型鲁棒性。实验表明，SAM在多个数据集和模型上取得了当时最佳结果，并具备与噪声标记学习特定方法相当的抗噪性。这一思路为后续改进奠定了基础。
效率优化：从Efficient SAM到Sparse SAM
针对SAM计算开销大的问题，Efficient SAM引入随机权重扰动和敏感数据选择，节省高达60%计算资源且保持或提升测试精度。Sparse SAM则通过二进制掩码实现稀疏扰动，基于Fisher信息或动态稀疏训练，理论证明其收敛速度与SAM相同，并在CIFAR和ImageNet-1K上展现出更好的效率与表现。
泛化性能的进一步改进：GSAM、GA-SAM与GAM
GSAM引入替代间隙衡量低锐度，通过两步优化在正交方向上升，在ImageNet上以ViT-B/32超越SAM和AdamW且计算开销可忽略。GA-SAM基于梯度强度自适应调整扰动，发现更鲁棒的平坦最小值。GAM则寻找所有方向均匀小曲率的最小值，提升泛化能力。这些方法从不同角度深化了SAM的理论与实践。
局部扰动与F-SAM的新视角
研究发现，仅对仿射变换参数等小部分参数进行扰动，比全局扰动效果更好。F-SAM通过移除全梯度成分并利用随机梯度噪声，进一步提高了泛化性能。这些工作表明，SAM的关键组件可以拆解和优化，为设计更高效的训练策略提供了新方向。
Q&A
什么是Sharpness-Aware Minimization (SAM)？
Sharpness-Aware Minimization (SAM)是一种通过最小化损失值和损失锐度来提高深度神经网络模型泛化能力的方法。
SAM在模型训练中有什么优势？
SAM在多个数据集上表现优异，具有良好的抗噪性，并能提高模型的泛化能力。
如何提高SAM的训练效率？
通过引入随机权重扰动和敏感数据选择，Efficient Sharpness Aware Minimizer可以节省高达60%的计算资源，同时保持或提高测试准确性。
GSAM与SAM相比有什么改进？
GSAM通过引入替代间隙来改善泛化性能，采用两步优化过程，表现优于SAM和AdamW。
Sparse SAM的训练方案有什么特点？
Sparse SAM使用二进制掩码和动态稀疏训练，理论上证明其收敛速度与SAM相同，能有效平滑损失地形。
GA-SAM算法的主要功能是什么？
GA-SAM算法基于梯度强度自适应调整，旨在发现更具鲁棒性的平坦局部最小值，从而提升模型的泛化能力。
