BriefGPT - AI 论文速递
·
立方正则化子空间牛顿法用于非凸优化
💡
原文中文，约300字，阅读约需1分钟。
📝
内容提要
本文介绍了两种简单的随机二阶方法，用于最小化光滑和强凸函数的平均值。这些方法相比现有方法更简单，每次迭代只需要计算一个随机选择函数的梯度和海森矩阵。与一阶方法相比，这些方法在本地收敛速度更快，并适应问题的曲率。这些方法的理论为设计新的随机方法提供了新的直觉。
🎯
关键要点
-
提出了两种简单的随机二阶方法，用于最小化光滑和强凸函数的平均值。
-
第一种方法是牛顿方法的随机变体（SN），第二种是具有立方正则化的牛顿方法的随机变体（SCN）。
-
这些方法每次迭代只需计算一个随机选择函数的梯度和海森矩阵，避免了现有方法的缺点。
-
与现有的随机牛顿和拟牛顿方法相比，这些方法保证了更快的本地收敛速度。
-
这些方法适应问题的曲率，提供了新的设计随机方法的理论直觉。
➡️
