CORE: 基于强化学习的可扩展高效因果发现
内容提要
该文综述因果强化学习（CRL）研究，涵盖元强化学习因果发现、因果驱动分层探索、基于RL的因果推断与图生成、离线数据泛化、影响力度量提升数据效率等方向，将现有CRL方法划分为两类，分析其形式化模型，并指出未解决问题与未来方向。
延伸解读
因果强化学习的两类方法
文章将现有因果强化学习（CRL）方法划分为两类，并分析了每一类的形式化模型。这种分类有助于读者理解不同方法在建模因果关系时的基本假设和适用场景，为后续研究提供清晰的框架。
元强化学习用于因果发现
文章提到利用元强化学习算法，通过学习干预变量来进行因果发现并构建明确的因果图。研究表明，与现有最先进方法相比，这种方法表现更好，并揭示了干预策略对性能的贡献。这为因果发现提供了新的思路。
因果驱动探索提升分层强化学习效率
文章介绍了CDHRL框架，它通过因果驱动探索而非随机驱动探索来构建高质量的分层结构，从而提高分层强化学习的探索效率。在2D-Minecraft和Eden环境中的实验表明，CDHRL显著提高了探索效率，展示了因果信息在复杂环境中的价值。
离线数据与泛化保证
文章探讨了利用因果推断理论和基于隐变量的因果转移模型，在离线数据基础上使用观察数据有效提高基于模型的强化学习智能体的泛化保证。这为解决强化学习在离线场景下的泛化问题提供了潜在方向。
Q&A
因果强化学习（CRL）主要研究哪些方向？
因果强化学习研究涵盖元强化学习因果发现、因果驱动分层探索、基于强化学习的因果推断与图生成、离线数据泛化、影响力度量提升数据效率等方向。
现有因果强化学习方法被划分为哪两类？
现有因果强化学习方法被划分为两类，并分析了每一类的不同模型的形式化。
CDHRL框架如何提高分层强化学习的探索效率？
CDHRL框架通过因果驱动探索而非随机驱动探索来构建高质量的分层结构，从而提高分层强化学习的探索效率。
元强化学习在因果发现中有什么作用？
元强化学习可以通过学习干预变量来进行因果发现并构建明确的因果图，且与现有最先进方法相比表现更好，揭示了干预策略对性能的贡献。
如何利用强化学习进行因果推断并生成因果图？
一种方法是将强化学习合并到基于排序的模式中，通过编码器-解码器架构实现排序生成过程，并使用强化学习优化模型处理生成的排序，以获得最终的因果图。
因果强化学习如何提升离线数据的泛化能力？
利用因果推断理论和基于隐变量的因果转移模型，在离线数据基础上使用观察数据，可以有效提高基于模型的强化学习智能体的泛化保证。
如何通过影响力度量提高强化学习的数据效率？
通过测量强化学习智能体在特定情况下的影响力，结合条件互信息将此度量值引入强化学习算法，可以提高机器人操作任务中的数据效率。
