随机近端点算法的方差降低技术

原文约300字，阅读约需1分钟。发表于：。

在有限和求和最小化的背景下，方差缩减技术被广泛应用于改进现有随机梯度方法的性能，本研究首次提出了针对随机近端点算法的方差缩减技术研究，介绍了针对平滑凸函数的 SVRG、SAGA 和其变种的随机近端版本，并且提供了迭代和目标函数值的多个收敛结果，特别对于满足 Polyak-Lojasiewicz 条件的情况下，我们获得了迭代和函数值的线性收敛速度，数值实验结果表明相对于梯度方法来说，近端方差缩减方法在选择步长方面具有更好的稳定性。

本研究首次提出了针对随机近端点算法的方差缩减技术研究，介绍了SVRG、SAGA和其变种的随机近端版本，并提供了多个收敛结果。实验结果表明，近端方差缩减方法在选择步长方面具有更好的稳定性。