BriefGPT - AI 论文速递 · 2024-09-16T00:00:00Z

Convergence of Sharpness-Aware Minimization Algorithms Using Increasing Batch Size and Decaying Learning Rate

📝

内容提要

本研究探讨了锐度感知最小化算法（GSAM）在深度神经网络训练中的收敛性。GSAM通过逐步增大批量大小和衰减学习率，更有效地找到平坦的局部最小值，从而提升模型的泛化能力。

🏷️

标签

局部最小值 收敛性 泛化能力 深度神经网络 锐度感知最小化算法