本研究探讨了随机变量缩减梯度（SVRG）在非凸优化中的应用，证明其收敛速度优于随机梯度下降（SGD）和梯度下降（GD）。分析了SVRG的线性收敛性及其在并行设置中的加速效果，并提出了新算法以解决非凸问题，利用方差减少技术提高样本复杂度界限。

通过调整乘法系数来控制SVRG强度，并线性衰减该系数，研究表明SVRG可优化深层网络，随训练减弱。新方法alpha-SVRG在实验中优于基准，有助于深度学习方差减少技术研究。

本研究首次提出了针对随机近端点算法的方差缩减技术研究，介绍了SVRG、SAGA和其变种的随机近端版本，并提供了多个收敛结果。实验结果表明，近端方差缩减方法在选择步长方面具有更好的稳定性。