探索前进：在深度强化学习中利用探索进行泛化
内容提要
该研究探讨了基于探索的深度强化学习方法，特别是“Go-Explore”和“ExpGen”算法在新环境中的泛化能力。这些方法通过有效的探索策略，在高维强化学习基准上取得了显著进展，解决了过拟合和探索中的问题，展示了在复杂任务中的应用潜力。
延伸解读
探索与泛化的结合点
文章指出，基于探索的深度强化学习方法在新环境中表现出良好的泛化能力。其中，ExpGen 算法利用基于 Q 值分布集合的探索方法，在 Procgen 和 Crafter 两个高维泛化基准上取得最新进展，并克服了过拟合问题。这提示读者，探索策略不仅是解决稀疏奖励的手段，也可能成为提升零样本泛化性能的关键。
Go-Explore 的机制与验证
Go-Explore 通过显式记住有前途的状态并首先返回这些状态，直接解决了探索中的“detach”和“derailment”问题。它在所有难探索游戏上超越现有技术，并在稀疏奖励抓取放置机器人任务上展示了实际潜力。后续研究还将其应用于居民能源管理，取得高达 19.84% 的成本改进，并在 Montezuma's Revenge 等游戏中打破人类高分纪录。
多样性回放与泛化提升
文章提到，增加回放缓冲区中转换的多样性有助于提高对训练期间“可达”和“不可达”状态的泛化能力，以及潜在表示的泛化能力。这一发现为多任务强化学习的泛化性能提升提供了实证支持，说明数据多样性是影响泛化的重要因素，而不仅仅是算法结构。
GAEX 与探索新思路
生成对抗性探索（GAEX）通过引入来自生成对抗网络的内在奖励来鼓励探索，帮助鉴别是否访问了新颖状态，而不依赖启发式规则或距离度量。实验表明，在 DQN 上应用 GAEX 可在不调整复杂学习算法的情况下，在 Venture、Montezuma's Revenge 和 Super Mario Bros 等挑战性探索问题中实现性能提升。这是首次使用 GAN 解决强化学习中的探索问题。
Q&A
什么是基于探索的深度强化学习方法？
基于探索的深度强化学习方法通过有效的探索策略，提升在新环境中的泛化能力，解决过拟合和探索中的问题。
ExpGen算法在高维强化学习基准上取得了什么进展？
ExpGen算法在Procgen和Crafter高维强化学习基准上实现了显著的实验效果，特别是在复杂任务中表现优异。
Go-Explore算法如何解决探索中的问题？
Go-Explore算法通过记住有前途的状态，解决了探索中的'detach'和'derailment'问题，从而提升了探索效率。
增加回放缓冲区中的转换多样性有什么好处？
增加回放缓冲区中的转换多样性有助于提高模型的泛化能力，使其在训练期间更好地应对可达和不可达状态。
生成对抗性探索（GAEX）方法的主要特点是什么？
GAEX方法通过引入内在奖励，鼓励探索新颖状态，提升在DQN上的性能，首次使用GAN解决强化学习中的探索问题。
这些探索算法在实际应用中有哪些潜力？
这些探索算法在稀疏奖励任务和复杂环境中展示了实际应用潜力，如机器人任务和游戏中的高效探索。
