本研究探讨了稀疏奖励环境下强化学习的探索问题，比较了四种内在奖励策略。结果表明，状态计数在低维观察中表现最佳，但在RGB观察中性能下降，而最大熵策略则更具鲁棒性，为提升探索性能提供了新依据。

本研究通过引入基于策略的内在奖励函数，解决了强化学习中的探索问题，提高了探索效率，并提出了一种新的离线最大熵强化学习算法。

本文提出了生成对抗性探索（GAEX）方法，利用生成对抗网络的内在奖励来促进强化学习中的探索。实验证明，应用GAEX在DQN上可以显著提升探索性能，这是首次使用GAN解决强化学习中的探索问题。