关于随机（方差减少）近端梯度法在正则化期望回报优化中的应用
内容提要
本文综述随机方差缩减技术在优化中的应用，涵盖近端随机梯度、策略梯度、非凸优化及随机变分不等式等方向，提出多种算法提升采样效率与收敛速度，并在强化学习、深度网络攻击等任务中验证其优于传统方法。
延伸解读
方差缩减技术的时间演进
从2014年到2023年，随机方差缩减方法经历了从基础算法到复杂应用的演进。早期工作如Prox-SVRG解决了非强凸优化的线性收敛问题，随后SRVR-PG等算法将方差缩减引入强化学习策略梯度，显著提升了采样效率。近年研究进一步扩展到非凸优化、随机变分不等式和深度网络攻击等任务，表明该技术具有广泛的适应性和持续的研究活力。
在强化学习中的实际效果
文章提到，将SVRG估计与信赖区间牛顿共轭梯度结合，在Mujoco连续控制任务中表现优于TRPO等无模型策略梯度方法。这表明方差缩减能有效提高样本效率，对于实际强化学习应用，尤其是在采样成本高的场景中，可能带来显著的性能提升。但需注意，这些结果基于特定任务，泛化性仍需验证。
理论保证与条件限制
多项研究提供了收敛性和复杂度分析，例如在Polyak-Lojasiewicz条件下获得线性收敛，或在无强凸性时实现线性收敛率。然而，这些保证通常依赖于特定假设，如平滑性、有界方差或伪单调性。实际应用中需检查问题是否满足这些条件，否则理论优势可能无法体现。
方法比较与选择考量
文章对比了不同方差缩减方法，如SVRG、SAGA及其近端变体。数值实验表明，近端方差缩减方法在步长选择上比传统梯度方法更稳定。读者在选择算法时，应权衡问题结构（如是否非凸、是否需近端映射）和计算资源，并参考文中提到的复杂度结果，以找到适合自身任务的方案。
Q&A
随机方差缩减近端梯度法主要解决什么类型的优化问题？
它主要解决平滑组件函数的平均和简单近端映射的一般凸函数总和的极小化问题，即目标函数由多个凸函数组成，其中一部分是平滑的，另一部分具有简单的近端映射。
SRVR-PG 算法在强化学习中有什么作用？
SRVR-PG 是一种新型策略梯度算法，旨在提高强化学习中的采样效率，并通过数值实验验证了其性能。
Prox-SVRG 和 VRPSG 算法在非强凸优化中如何实现线性收敛？
它们通过使用 SSC 不等式，证明了在无强凸性的情况下也能实现线性收敛率，适用于机器学习中广泛使用的非强凸优化问题。
随机方差缩减技术如何应用于策略梯度方法？
通过将 SVRG 估计组合到信赖区间牛顿共轭梯度架构中，显著提高了无模型策略梯度的样本效率，在 Mujoco 任务中表现优于 TRPO。
在深度神经网络黑盒攻击中，基于随机零阶梯度与方差降低的方法有什么优势？
该方法利用高斯平滑和方差降低优化非凸函数，在实验中比现有的无导数优化技术表现更优。
近端方差缩减方法在步长选择上有什么优势？
数值实验结果表明，相对于梯度方法，近端方差缩减方法在选择步长方面具有更好的稳定性。
