关于未来依赖值函数中未来与历史的诅咒对于离策略评估的影响
内容提要
本文综述离线策略评估（OPE）研究，包括利用不可观测干扰变量与稳态分布比率识别策略价值、基于双重强化学习的高效估计器、针对线性MDP的VA-OPE算法（用值函数方差重加权Bellman残差）、计算紧置信区间的变分框架、小方差边缘重要性抽样算法、基于原始-对偶优化的非渐进置信区间，以及机器人探索与模型选择等应用。
延伸解读
离线策略评估的多样技术路线
文章综述了多种离线策略评估方法，包括利用不可观测干扰变量识别策略价值、基于双重强化学习的高效估计器、针对线性MDP的VA-OPE算法、变分框架计算置信区间、小方差边缘重要性抽样以及原始-对偶优化构建非渐进置信区间。这些方法从不同角度应对OPE中的偏差与方差问题，反映了该领域技术路线的多样性。
理论保证与样本效率的权衡
VA-OPE算法通过值函数方差重加权Bellman残差，实现了更紧的误差界限；变分框架和原始-对偶优化则专注于构建紧置信区间。这些工作表明，在OPE中，理论保证的强度与样本效率密切相关，研究者正试图在有限数据下提供更可靠的策略价值估计。
从理论到实际应用的探索
文章提及了机器人探索与模型选择等应用。例如，基于状态价值函数和内在奖励的机器人探索方法已在地下和城市环境中应用于真实数据集；基于Q函数的PU分类度量则用于深度强化学习的模型选择。这些案例显示了OPE技术在实际场景中的潜力，但文章未提供具体的性能对比数据。
Q&A
离线策略评估（OPE）在强化学习中主要解决什么问题？
离线策略评估旨在利用离策略数据（即由行为策略生成的数据）来评估目标策略的价值，而无需与环境进行交互。
有哪些方法可以提高离线策略评估的样本效率？
针对非时变线性马尔可夫决策过程，VA-OPE算法通过使用值函数的方差对Fitted Q-Iteration中的Bellman残差进行重新加权，从而提高了样本效率，并实现了更紧的误差界限。
如何为离线策略评估构建紧置信区间？
可以通过变分框架将计算紧置信区间的问题转化为可行集上的优化问题，利用kernel Bellman损失的统计特性构造可行集；也可以基于原始-对偶优化算法，结合核贝尔曼损失和新的鞅集中不等式来构建非渐进置信区间。
离线策略评估在机器人领域有哪些应用？
在机器人探索中，基于状态价值函数、离线蒙特卡罗训练和传感器内在奖励的方法能够预测未来状态价值以指导探索，并已在地下和城市环境的真实世界数据集中得到应用。
如何处理离线策略评估中的分布偏移问题？
可以使用基于较小方差的边缘重要性抽样（MIS）算法来解决长时域MDP中的OPE问题，该算法在多个环境中表现良好；此外，动态因子模型框架也能处理双不均性，并支持基于模型和无模型的策略评估方法。
在深度强化学习中，如何评估离线策略评估算法的性能以进行模型选择？
可以将Q函数作为决策函数，将模型选择问题转化为正无标记（PU）分类问题，并基于此度量来评估OPE性能，该方法适用于连续动作空间和稀疏二元奖励的MDP，且在一些任务上优于基线算法。
