估计记录策略的双重稳健离线策略评估
原文中文，约1500字，阅读约需4分钟。
📝
内容提要
本文提出了一种名为MRDR的鲁棒Doubly Robust估计方法，旨在解决强化学习中的离策略评估问题。该方法通过最小化方差，在上下文决策和强化学习基准中展现出强一致性和渐进最优性。此外，研究探讨了多种算法和方法，以提高离线策略评估的样本效率和准确性。
❓
Q&A
MRDR方法的主要目标是什么？
MRDR方法旨在解决强化学习中的离策略评估问题。
MRDR方法如何提高离线策略评估的样本效率？
通过使用值函数的方差信息，提出VA-OPE算法来提高样本效率。
什么是局部化双重稳健离线评估（LDR$^2$OPE）？
LDR$^2$OPE是一种算法，用于应对观测数据的环境分布移位问题。
MRDR方法在实验中表现如何？
MRDR方法在上下文决策和强化学习基准中展现出强一致性和渐进最优性。
如何处理观测数据的环境分布移位问题？
通过使用基于KL散度不确定性集合的算法来应对环境分布移位问题。
MRDR方法与传统估计器相比有什么优势？
MRDR方法提出了一种新的有偏差-无方差权衡评估器，优于现有评估器。
🏷️
