$Δext {-}{m OPE}$：使用一对策略进行离策略估计
内容提要
该研究探讨了利用历史数据评估新政策的方法，提出了一种自适应估计器选择方法，显著提高了评估准确性。研究中引入了新指标SharpeRatio@k，用于评估反事实政策的有效性，并应用于开源软件SCOPE-RL。此外，研究还解决了深度强化学习中的模型选择问题，提出了一种基于Q函数的度量方法，适用于连续动作空间和稀疏奖励的马尔可夫决策过程。
延伸解读
自适应估计器选择：提升离策略评估准确性的关键
文章指出，针对真实数据选择估计器是一个重要问题。提出的自适应方法利用日志数据子采样并构建伪策略，从而显著提高估计准确性。这提示实践者，在面对协变量偏移时，不应固定使用单一估计器，而应根据数据特性动态选择，以更可靠地评估新政策。
SharpeRatio@k：评估反事实政策风险回报的新视角
研究引入基于财务投资组合评估的SharpeRatio@k指标，用于衡量政策组合的风险回报权衡。该指标已集成到开源软件SCOPE-RL中，为反事实政策评估提供了新维度。读者可关注这一指标如何帮助在离线评估中平衡收益与风险，尤其适用于需要稳健决策的场景。
深度强化学习中的模型选择：基于Q函数的PU分类度量
针对深度强化学习模型选择难题，文章提出将基于Q函数的决策函数转化为正无标记（PU）分类问题来评估离线策略评估性能。该方法适用于连续动作空间和稀疏二元奖励的马尔可夫决策过程，并在部分任务上优于基线。这为连续控制任务中的模型选择提供了新思路。
标准化基准：推动离线策略评估研究进展
文章提供了一套用于基准测试的数据集和策略集，旨在标准化离线学习中的评估和选择复杂政策。这有助于不同算法间的公平比较，并推动领域进展。读者应注意，这些资源为后续研究提供了可复现的基准，但需结合具体任务调整使用。
Q&A
如何利用历史数据评估新政策？
该研究提出了一种自适应的估计器选择方法，通过适当的子采样和构建伪策略来提高评估准确性。
什么是SharpeRatio@k指标？
SharpeRatio@k是用于评估反事实政策有效性的指标，已集成到开源软件SCOPE-RL中。
该研究如何解决深度强化学习中的模型选择问题？
研究提出了一种基于Q函数的度量方法，适用于连续动作空间和稀疏奖励的马尔可夫决策过程。
研究中提供了哪些基准测试的数据集和策略集？
研究提供了一套用于基准测试的数据集和策略集，旨在标准化进展度量并评估现有算法。
如何评估反事实策略的有效性？
通过使用SharpeRatio@k指标来评估反事实政策的有效性，衡量风险与回报的权衡。
该研究对未来的OPE研究有什么启示？
研究提出了几个有趣的方向和建议，旨在推动离线学习中的评估和选择复杂政策的发展。
