vMFER：基于梯度方向不确定性的 Von Mises-Fisher 经验重新采样用于策略改进
内容提要
本文探讨了多种强化学习算法及其在不同环境中的应用，包括基于测度值导数的随机梯度估计器、逆方差强化学习和VIREL方法。这些方法在提高样本效率和应对环境不确定性方面表现出色，尤其在多智能体环境和高保真度任务中取得了显著成果。
延伸解读
从样本效率到鲁棒性：强化学习研究的多元进展
文章汇总了多项强化学习研究，时间跨度从2017年到2024年，涵盖了策略梯度、样本效率、鲁棒性等关键问题。这些工作分别针对不同挑战：如DRNVI处理多智能体环境的不确定性，逆方差强化学习缓解嘈杂监督，VRMPO和SVRG提升样本效率。整体反映了领域内从基础算法到复杂场景应用的演进脉络。
方差缩减技术成为提升样本效率的核心手段
多篇工作聚焦于方差缩减：VRMPO通过随机镜像下降设计方差缩减的策略梯度估计器，理论证明达到ε-近似一阶稳定点仅需O(ε^-3)条轨迹；SVRG将随机方差缩减梯度下降引入无模型策略梯度，在Mujoco任务上超越TRPO；无重复抽样估计方法与REINFORCE结合内置控制变量。这些方法共同指向降低梯度估计方差以提升样本利用效率。
鲁棒性与不确定性建模受到持续关注
针对模拟到现实的差距，DRNVI学习分布鲁棒马尔可夫博弈的博弈论平衡变体，并建立信息论下界；逆方差强化学习采用贝叶斯框架，结合概率一致集和批次逆方差加权，用两种互补的不确定性估计方法缓解嘈杂监督。这些工作表明，对环境不确定性保持鲁棒性是强化学习落地的重要前提。
策略优化与知识迁移的多样化探索
VIREL通过参数化动作值函数总结MDP未来动态，将actor-critic简化为期望最大化，在多个领域优于软值函数方法；混合模型驱动的继任特征算法实现不同转换动力学或奖励函数间的知识迁移，减少计算量。这些研究展示了策略优化和迁移学习的不同路径，为后续研究提供了参考。
Q&A
什么是基于测度值导数的随机梯度估计器？
基于测度值导数的随机梯度估计器是一种在低维和高维动作空间中表现出色的强化学习算法，能够与基于似然比或重参数化技巧的方法相当。
DRNVI算法在多智能体环境中的作用是什么？
DRNVI算法用于学习多智能体环境中的分布鲁棒马尔可夫博弈，旨在解决强化学习中的不确定性问题。
逆方差强化学习框架如何提高样本效率？
逆方差强化学习框架结合概率一致集和批次逆方差加权，采用互补的不确定性估计方法，从而显著提高样本效率。
VIREL方法的主要优势是什么？
VIREL方法通过参数化的动作值函数优化价值函数和策略，表现优于基于软值函数的算法，能够自然地从推断中学习确定性最佳策略。
VRMPO算法如何提高样本利用效率？
VRMPO算法使用方差缩减的策略梯度估计器和随机镜像下降方法，显著提高样本利用效率。
混合模型驱动的继任特征算法的优势是什么？
该算法能够在不同的转换动力学或奖励函数的任务之间实现高效的知识传输，并减少计算量。
