PROMISE: 将可扩展的曲率估计纳入预处理的随机优化方法

PROMISE 是一套基于草图的预条件随机梯度算法套件，用于解决机器学习中出现的大规模凸优化问题，其包括 SVRG、SAGA 和 Katyusha 的预条件版本；通过强大的理论分析和有效的默认超参数，我们实验证实了这些算法的卓越性能，且在默认超参数情况下，它们在包含 51 个岭回归和逻辑回归问题的测试集上超越或与流行的调优随机梯度优化器相匹配；此外，我们引入二次正则性概念，以建立所有提出的方法的线性收敛性，即使在更新频率较低的情况下也成立，线性收敛速度由二次正则性比率决定，二次正则性比率通常在理论和实践中相对于条件数提供了更紧的收敛速度上界，并解释了所提出方法的快速全局线性收敛性。