BriefGPT - AI 论文速递
·
增强优化性能：高斯融合搜索与 Powell 方法的无导数优化中的新型混合算法
💡
原文中文，约300字，阅读约需1分钟。
📝
内容提要
本文介绍了两种简单的随机二阶方法，用于最小化光滑和强凸函数的平均值。这些方法包括牛顿方法的随机变体（SN）和具有立方正则化的牛顿方法的随机变体（SCN）。与现有的随机二阶方法不同，这些方法每次迭代只需要计算一个随机选择函数的梯度和海森矩阵，避免了其他方法的缺点。与大多数现有的随机牛顿和拟牛顿方法相比，这些方法保证了比一阶 oracle 更快的本地收敛，并适应了问题的曲率。虽然这些方法不是无偏的，但为设计新的随机方法提供了新的直觉。
🎯
关键要点
- 提出了两种简单的随机二阶方法，用于最小化光滑和强凸函数的平均值。
- 第一种方法是牛顿方法的随机变体（SN），第二种是具有立方正则化的牛顿方法的随机变体（SCN）。
- 这些方法每次迭代只需计算一个随机选择函数的梯度和海森矩阵，避免了其他方法的缺点。
- 与大多数现有的随机牛顿和拟牛顿方法相比，这些方法保证了比一阶 oracle 更快的本地收敛。
- 这些方法适应了问题的曲率，提供了新的直觉用于设计新的随机方法。
➡️
