MoMA: 基于模型的蜂道上升算法用于离线强化学习
内容提要
该文综述基于模型的离线强化学习进展：MOPO以高风险惩罚应对分布漂移；MOReL采用模块化设计，性能达到或超过基准；MOOSE利用动力学模型评估策略，优于BRAC、BEAR、BCQ；对抗学习提升转移模型的泛化能力与不确定性量化；ROMI借助反向动力学生成无风险想象；MerPO平衡探索与利用；另有研究权衡模型与数据偏差，通过短模型滚动提升样本效率；元策略集合适应动态环境；鲁棒Q-learning、SARSA、TD算法；以及刻画模型误差与分布不匹配下的策略性能下限。
延伸解读
模型偏差与数据偏差的权衡
文章指出，基于模型的离线强化学习需要平衡生成数据的容易程度与模型生成数据的偏差。实践中，模型生成的在线策略数据往往不如真实离线数据，但通过将模型泛化能力的经验估计纳入分析，可以证明模型使用的合理性。一种简单方法是使用从真实数据分支的短模型滚动，这比其他基于模型的方法样本效率更高，并能匹配最佳无模型算法的渐近性能。
不确定性量化与保守性设计
多篇工作强调对模型不确定性进行量化以保障策略安全。MOPO将未知点的即时报酬设为高风险，以应对分布漂移；对抗学习提升转移模型的泛化能力与不确定性量化；ROMI通过反向动力学生成无风险想象，实现保守泛化。这些方法共同表明，在离线强化学习中，对模型误差的显式处理是提升策略可靠性的关键。
策略性能下限的理论保障
有研究提出了基于模型的离线强化学习策略性能下限，明确捕捉动力学模型误差和分布不匹配，并建立悲观价值近似来证明安全策略改进定理。其关键见解是同时考虑动力学模型和策略选择：只要模型能准确表示给定策略访问的状态-动作对的动态特性，就可能近似该策略的值。该下限在LQR设置下分析，并在D4RL任务上展示了有竞争力的性能。
Q&A
MOPO算法是如何解决离线数据分布漂移问题的？
MOPO将模型地图上未知点处的即时报酬设置为高风险，从而在模型训练过程中优化代理策略，以应对离线数据分布发生漂移的问题。
MOReL算法有什么特点？
MOReL采用模块化设计，可用于模型生成、不确定性估计、规划等领域，实验结果表明其性能能够达到或超过当前广泛研究的离线强化学习基准的最新结果。
MOOSE算法与BRAC、BEAR、BCQ相比有什么优势？
MOOSE使用动力学模型评估策略性能，得出了比无模型离线强化学习算法BRAC、BEAR和BCQ更稳健的结果。
ROMI框架如何生成无风险的想象？
ROMI通过学习一个反向动力学模型和一种新颖的反向策略，在离线数据集内生成无风险想象，并启用无模型策略学习和保守性的泛化。
MerPO方法如何平衡探索与利用？
MerPO使用正则化策略优化来实现任务结构推断和元策略安全探索，通过探究“探索”元策略的分布情况和“利用”离线数据集的紧密度之间的平衡来改进元强化学习算法。
基于模型的离线强化学习策略性能下限研究的关键见解是什么？
关键见解是同时考虑动力学模型和策略的选择：只要动力学模型能够准确表示给定策略访问的状态-操作对的动态特性，就可能近似该特定策略的值。该研究提出了一个明确捕捉动力学模型误差和分布不匹配的性能下限，并通过建立对价值函数的悲观近似证明了一种新的安全策略改进定理。
