马尔可夫决策过程中的弱分布重叠下的离策略评估
内容提要
本文综述分布鲁棒强化学习，研究在不确定性集合下学习最优策略，分析采样复杂度与动态规划条件，并提出MRDR、DR-Off-PAC、LDR²OPE等鲁棒离策略评估与学习算法，证明其一致性与收敛性。
延伸解读
分布鲁棒MDP的采样复杂度并非一概而论
文章指出，分布鲁棒马尔可夫决策过程的采样复杂度并不一定比标准MDP更高或更低，而是取决于不确定性集合的大小和形状。这意味着在实际应用中，选择合适的不确定性集合至关重要，它直接影响到学习效率。读者应关注不确定性集合的设计，而非简单认为鲁棒性必然带来更高的样本需求。
离策略评估的鲁棒性提升：MRDR与DR-Off-PAC
针对离策略评估，文章介绍了MRDR和DR-Off-PAC两种方法。MRDR通过最小化Doubly Robust估计器的方差来学习模型参数，具有强一致性和渐进最优性；DR-Off-PAC则利用已学习的干扰函数降低估计误差和采样复杂度，并采用单时间尺度结构实现高效更新。这些方法旨在应对分布不匹配和估计偏差问题，为实际部署提供了更稳健的评估工具。
动态规划原理的存在条件影响算法设计
文章强调，动态规划原理的存在对于数据和计算高效的强化学习算法至关重要。然而，在分布鲁棒MDP中，动态规划原理并非总是成立，文章给出了不存在全面广义动态规划原理的反例。这提醒研究者和实践者，在设计鲁棒算法时需仔细检验动态规划原理的适用条件，否则可能无法保证收敛性和最优性。
局部化双重稳健方法应对分布移位
针对观测数据的环境分布移位和未知倾向估计带来的方差挑战，文章提出了基于KL散度不确定性集合的LDR²OPE和CDR²OPL算法，并扩展到了一般的f-divergence不确定性集合。这些方法通过局部化双重稳健估计，在模拟实验中表现出有效性，为处理分布移位问题提供了新的思路。
Q&A
分布鲁棒马尔可夫决策过程（DRMDP）的采样复杂度是否一定比标准MDP更高？
不一定。研究表明，DRMDP的采样复杂度并不一定比标准MDP更易或更难学习，而是依赖于不确定性集合的大小和形状。
MRDR方法是什么？它有什么特点？
MRDR是一种更鲁棒的Doubly Robust估计方法，用于离策略评估。它通过最小化DR估计器的方差来学习模型参数，并在上下文决策和强化学习基准问题中评估，证明了其强一致性和渐进最优性。
DR-Off-PAC算法如何降低估计误差和采样复杂度？
DR-Off-PAC是一种基于actor-critic的离策略强化学习算法，它利用已学习的干扰函数来降低估计误差并减少采样复杂度，同时采用单时间尺度结构实现高效的一次更新。它使用密度比方法调整分布不匹配以稳定收敛，并通过样本复杂度分析证明了渐进的收敛速率。
在分布鲁棒MDP中，如何构建分布鲁棒策略？
通过在模糊集格式中加入不确定性的广义矩和统计距离信息，将泛化动量和统计距离模糊集的现有研究推广到后者类别，提出一种新的描述不确定性空间的模糊集形式。在此模糊集形式下，当满足一些温和的技术条件时，可以通过解决一系列一阶凸优化子问题来构建一份分布鲁棒策略。
LDR²OPE和CDR²OPL算法是做什么的？它们基于什么不确定性集合？
LDR²OPE（局部化双重稳健离线评估）和CDR²OPL（连续双重稳健离线学习）算法用于应对观测数据的环境分布移位问题及未知倾向估计带来的方差挑战。它们基于KL散度不确定性集合，并在模拟实验中验证了表现，还进一步扩展到了一般的f-divergence不确定性集合。
在强化学习中，基于模型的方法如何改进off-policy risk的估计？
研究构建了第一个适用于MDPs的双重稳健估计器，用于改进off-policy risk的估计，提高了估计精度并实现了Cramer-Rao方差下界。
