本研究提出了一种随机平滑理论，用于在不可微函数中进行梯度估计。该方法无需可微密度或完整支持，提供了通用框架，有效减少梯度估计的方差。

本研究探讨了随机变量缩减梯度（SVRG）在非凸优化中的应用，证明其收敛速度优于随机梯度下降（SGD）和梯度下降（GD）。分析了SVRG的线性收敛性及其在并行设置中的加速效果，并提出了新算法以解决非凸问题，利用方差减少技术提高样本复杂度界限。

本文介绍了一种新的方差减少方法RSVRG，用于优化Riemann流形中的逐点可微分函数。该方法在几何凸和非凸函数上表现优越，适用于多种优化问题，如Riemann质心计算和低秩矩阵完成。研究表明，该算法在收敛性和性能上优于传统的随机梯度下降算法。

该研究提出了基于动作嵌入的边际化逆向倾向评分来减少离策略评估中估计器的方差，并提出了双重稳健估计器来提高准确性。经验实验证实了该方法的卓越性。