BriefGPT - AI 论文速递
·
PROMISE: 将可扩展的曲率估计纳入预处理的随机优化方法
💡
原文中文，约400字，阅读约需1分钟。
📝
内容提要
PROMISE是一套基于草图的预条件随机梯度算法套件，用于解决大规模凸优化问题。通过理论分析和默认超参数，实验证实了算法的卓越性能。引入二次正则性概念，建立了方法的线性收敛性。
🎯
关键要点
- PROMISE是一套基于草图的预条件随机梯度算法套件，旨在解决大规模凸优化问题。
- 该套件包括SVRG、SAGA和Katyusha的预条件版本。
- 通过理论分析和默认超参数，实验证实了算法的卓越性能。
- 在默认超参数情况下，算法在51个岭回归和逻辑回归问题的测试集上表现优于或与流行的调优随机梯度优化器相匹配。
- 引入二次正则性概念，以建立所有方法的线性收敛性，即使在更新频率较低的情况下也成立。
- 线性收敛速度由二次正则性比率决定，该比率通常提供更紧的收敛速度上界，解释了方法的快速全局线性收敛性。
➡️
