BriefGPT - AI 论文速递
·
通过学习扰动半径增强锐度感知最小化
💡
原文中文，约200字，阅读约需1分钟。
📝
内容提要
本文提出了一种高效的Sparse SAM训练方案，以减少计算量并实现平滑损失函数的目标。通过Fisher信息和动态稀疏训练，提供了两种不同的稀疏干扰解决方案。实验证明，与SAM相比，该方案在CIFAR和ImageNet-1K上具有更好的效率和表现。
🎯
关键要点
- 提出了一种高效的Sparse SAM训练方案。
- 该方案旨在减少训练中的计算量。
- 目标是实现平滑损失函数。
- 提供了基于Fisher信息的稀疏干扰解决方案。
- 提供了基于动态稀疏训练的稀疏干扰解决方案。
- 理论证明了与SAM相同的收敛速度和有效性。
- 在CIFAR和ImageNet-1K上的实验表明，该方案比SAM更高效且表现更好。
➡️
