BriefGPT - AI 论文速递
·
带有延迟近似 Hessian 矩阵的正则化牛顿方法的一阶和零阶实现
💡
原文中文，约500字，阅读约需2分钟。
📝
内容提要
本文介绍了一种Cubically regularized Newton方法的一阶和零阶实现，用于解决非凸优化问题。该方法使用自适应搜索过程，适应正则化常数和有限差分逼近的参数。作者证明了新方法的全局复杂度界，并提高了先前已知界，用于一阶和零阶非凸优化。
🎯
关键要点
- 本文介绍了一种Cubically regularized Newton方法的一阶和零阶实现，用于解决非凸优化问题。
- 该方法通过有限差分逼近导数，使用自适应搜索过程，适应正则化常数和有限差分逼近的参数。
- 方法不需要知道实际的Lipschitz常数，并增加了惰性Hessian更新，重复使用之前计算的Hessian近似矩阵。
- 新的一阶Hessian-free方法的全局复杂度界为O(n^1/2 * ε^-3/2)，零阶无导数方法的复杂度界为O(n^3/2 * ε^-3/2)。
- 这些复杂度界显著提高了关于n和ε的联合依赖的先前已知界，用于一阶和零阶非凸优化。
➡️
