马尔可夫决策过程中的几何主动探索：抽象的好处
内容提要
本研究探讨了马尔科夫决策过程中的主动探索问题，提出了生成对抗性探索（GAEX）和基于模型的强化学习算法等新方法。这些算法在不同环境中显著提升了探索性能和学习效率。
延伸解读
抽象如何提升强化学习效率
文章指出，通过等效效果抽象和马尔科夫状态抽象等方法，可以减少状态动作空间或获得紧凑表示，从而提高采样效率和规划效率。例如，等效效果抽象在车杆环境中使用33倍少的训练数据达到更好表现。这些方法的核心是利用环境动态的部分模型或对比学习，降低高维问题的复杂度。
生成对抗性探索的创新与效果
GAEX首次将生成对抗网络用于强化学习探索，通过内在奖励鼓励访问新颖状态。在Venture、Montezuma's Revenge和Super Mario Bros等挑战性游戏中，应用GAEX能在不调整复杂学习算法的情况下显著提升性能。这为稀疏奖励环境提供了一种新的探索思路。
基于模型的探索算法比较
文章介绍了MAX和另一种基于模型的算法，它们都维护动态模型集合，通过预测分歧衡量新颖性。MAX在半随机离散环境中比强基线高效至少一个数量级，并能扩展到高维连续环境；另一种算法则具有多项式结构复杂度，在实现和最优规划假设下能得到完美策略。两者都强调明确探索与利用阶段。
几何熵最大化解决稀疏奖励
GEM算法通过最大化状态访问的Shannon熵的几何感知，在离散和连续领域中解决稀疏奖励问题。文章称其比其他深度强化学习探索方法更有效。这提示我们，从信息几何角度设计探索目标，可能比传统启发式方法更具优势。
Q&A
什么是生成对抗性探索（GAEX）？
生成对抗性探索（GAEX）是一种通过引入内在奖励来鼓励强化学习中的探索的新方法，首次使用生成对抗网络解决探索问题。
等效效果抽象方法如何提高采样效率？
等效效果抽象方法通过部分模型推断减少状态动作空间，从而提高采样效率和规划效率。
基于模型的强化学习算法的主要特点是什么？
基于模型的强化学习算法包括明确的探索和利用阶段，适用于大规模或无限状态空间，并维护动态模型以优化探索。
Geometric Entropy Maximisation (GEM)算法的优势是什么？
GEM算法能够在离散和连续领域中最大化状态访问的Shannon熵，有效解决稀疏奖励问题，表现优于其他深度强化学习方法。
如何通过抽象提高强化学习的效率？
通过抽象可以提高强化学习在高维度和复杂问题上的效率和泛化能力，利用MDP同态性进行表示学习。
研究中提出的高效Model-Based Active eXploration (MAX)算法有什么特点？
MAX算法使用前向模型的集合来规划观察新事件的行为，优化代理行为，并在半随机离散环境中表现出高效性。
