Sharpness-aware Adaptive Second-order Optimization Method SASSHA with Stable Hessian Approximation

💡 原文英文,约100词,阅读约需1分钟。
📝

内容提要

本研究提出了一种新型的二阶优化方法SASSHA,旨在提高泛化能力。SASSHA通过降低解决方案的尖锐性和稳定海森矩阵的近似计算,展现出优于其他方法的泛化性能。

🎯

关键要点

  • SASSHA是一种新型的二阶优化方法,旨在提高泛化能力。
  • 该方法通过降低解决方案的尖锐性来增强泛化能力。
  • SASSHA在优化过程中稳定海森矩阵的近似计算。
  • 研究表明,SASSHA在各种深度学习实验中表现出优异的泛化性能,优于其他方法。
➡️

继续阅读