尖锐性意识的自适应二阶优化方法SASSHA与稳定的海森矩阵近似
💡
原文英文,约100词,阅读约需1分钟。
📝
内容提要
本研究提出Sassha,一种新型的二阶优化方法,旨在提升泛化能力。Sassha通过降低解的尖锐性和稳定海森矩阵的近似计算,表现优于其他方法。
🎯
关键要点
- 本研究提出Sassha,一种新型的二阶优化方法。
- Sassha旨在提升泛化能力,通过降低解的尖锐性来实现。
- 现有二阶方法往往收敛到较尖锐的最小值,导致泛化能力不足。
- Sassha在优化过程中稳定海森矩阵的近似计算。
- 在各种深度学习实验中,Sassha表现出优异的泛化性能,效果优于其他方法。
➡️