策略梯度与主动重要性抽样
内容提要
本文介绍了一种新的无模型策略搜索算法POIS，适用于强化学习中的连续控制任务。该算法通过离线优化轨迹批次来定义替代目标函数，并解决了目标函数的方差问题。同时，探讨了改良的PPO算法和重要性采样方法在强化学习中的应用，旨在提高样本效率和预测性能。
延伸解读
重要性采样在强化学习中的演进
文章梳理了重要性采样（IS）在强化学习中的多种改进。从传统IS到逐决策IS、增量IS，再到基于状态的SIS，目标都是降低方差、提高评估精度。SIS通过协方差测试自动选择可忽略状态集，实验显示其方差更小、精度更高。这些方法共同推动了离线策略评估的可靠性。
策略梯度与方差减少技术
文章介绍了基于动量的策略梯度方法，利用自适应学习率和动量方差降低技术，无需大批量数据即可提高学习效率，并具有最佳样本复杂度。同时，双重稳健策略梯度估计器通过有限差分和重要性采样，提供了灵活且方差可控的估计方式。这些技术共同提升了策略优化的稳定性和效率。
离线策略评估的挑战与突破
离线策略评估常面临方差爆炸问题。文章提出将重要性采样直接应用于平稳态访问分布，仅从行为分布采样轨迹，并设计mini-max损失函数，在RKHS下得到封闭解，从而避免方差爆炸。此外，对新型IS方法的分析表明，在有限MDP中，每决策IS或固定采样IS相比普通IS并无严格方差优势，但给出了充分条件以判断其何时能提升评估准确性。
Q&A
POIS算法的主要特点是什么？
POIS是一种无模型的策略搜索算法，适用于连续控制任务，通过离线优化轨迹批次来定义替代目标函数，并解决目标函数的方差问题。
改良的PPO算法是如何提高样本效率的？
改良的PPO算法通过维度加权剪裁来避免重大偏差，从而提高智能体在高维任务中的样本效率和性能。
重要性采样方法在强化学习中的作用是什么？
重要性采样方法用于提高强化学习中离线预测的性能，减小更新权重值函数的方差。
SIS方法的优势是什么？
SIS方法具有更小的方差和更高的精度，用于解决强化学习中目标策略的评估问题。
如何避免现有估计器的方差爆炸问题？
通过将重要性采样直接应用于平稳态访问分布，提出了一种新的离线策略估计方法，从而避免了方差爆炸问题。
基于动量的策略梯度方法有什么优势？
基于动量的策略梯度方法提高了学习效率，具有最佳的样本复杂度，并不需要大批量数据。
