估计记录策略的双重稳健离线策略评估
内容提要
本文提出了一种名为MRDR的鲁棒Doubly Robust估计方法，旨在解决强化学习中的离策略评估问题。该方法通过最小化方差，在上下文决策和强化学习基准中展现出强一致性和渐进最优性。此外，研究探讨了多种算法和方法，以提高离线策略评估的样本效率和准确性。
延伸解读
MRDR 的核心思路与优势
MRDR 是一种鲁棒的 Doubly Robust 估计方法，其核心是通过最小化 DR 估计器的方差来学习模型参数。与传统的 DR 方法相比，MRDR 在上下文决策和强化学习基准问题中展现出强一致性和渐进最优性。这意味着在离策略评估中，MRDR 能够更稳定地估计目标策略的价值，尤其在数据有限或分布偏移时，其方差最小化的特性有助于提高评估的可靠性。
应对分布偏移的扩展方法
针对观测数据的环境分布偏移问题，研究提出了基于 KL 散度不确定性集合的局部化双重稳健离线评估（LDR$^2$OPE）和连续双重稳健离线学习（CDR$^2$OPL）算法。这些方法通过不确定性集合来约束分布偏移，并进一步扩展到一般的 f-散度不确定性集合。这为实际应用中处理未知倾向估计带来的方差挑战提供了理论工具，模拟实验验证了其有效性。
提升样本效率的多种途径
文章还探讨了多种提升离线策略评估样本效率的方法。例如，VA-OPE 算法利用值函数的方差信息对 Fitted Q-Iteration 中的 Bellman 残差进行重新加权，实现了更紧的误差界限；基于经验似然的 OPE 估计器比重要性抽样和双重稳健估计更高效；从多个日志策略进行分层抽样的 OPE 方法则通过最小化方差来利用多源数据。这些工作共同推动了 OPE 在有限数据下的实用性。
Q&A
MRDR方法的主要目标是什么？
MRDR方法旨在解决强化学习中的离策略评估问题。
MRDR方法如何提高离线策略评估的样本效率？
通过使用值函数的方差信息，提出VA-OPE算法来提高样本效率。
什么是局部化双重稳健离线评估（LDR$^2$OPE）？
LDR$^2$OPE是一种算法，用于应对观测数据的环境分布移位问题。
MRDR方法在实验中表现如何？
MRDR方法在上下文决策和强化学习基准中展现出强一致性和渐进最优性。
如何处理观测数据的环境分布移位问题？
通过使用基于KL散度不确定性集合的算法来应对环境分布移位问题。
MRDR方法与传统估计器相比有什么优势？
MRDR方法提出了一种新的有偏差-无方差权衡评估器，优于现有评估器。
