多智能体深度强化学习中的联合内在动机
内容提要
该文综述多智能体强化学习中的内在动机与探索方法，涵盖内在奖励框架、好奇心驱动共探、I-Go-Explore、模仿学习结合及因果影响机制，旨在解决稀疏奖励下的协调探索与样本效率问题，并在协作导航、双臂操作等任务中验证有效性。
延伸解读
内在动机如何缓解稀疏奖励困境
文章指出，稀疏奖励下深度强化学习的样本效率会受影响，而内在动机学习是有效解决方法。通过为智能体提供基于好奇心、惊奇感等内在奖励，可以鼓励探索，从而在协作导航、双臂操作等任务中提升表现。但需注意，内在奖励与外在奖励的调节至关重要，否则可能导致不良学习行为。
多智能体探索的协调挑战与应对
在多智能体环境中，独立探索可能导致协调失败。文章提到，通过设计联合内在奖励框架，可以促进协调探索，并动态选择探索方式以最大化外在奖励。此外，基于好奇心驱动的共探算法鼓励智能体探索独特而有意义的动作，在合作环境中提升整体探索效率，尤其在稀疏奖励的协作任务中显示出优势。
方法融合与任务验证的多样性
文章综述了多种方法融合，如内在动机与模仿学习结合、与Go-Explore框架结合形成I-Go-Explore以缓解detachments问题，以及利用因果影响机制统一协调与沟通。这些方法在协作导航、双臂操作、网格世界协调游戏和扑克牌等任务中验证了有效性，表明内在动机在多智能体强化学习中具有广泛适用性。
Q&A
多智能体强化学习中的内在动机主要解决什么问题？
主要解决稀疏奖励下的协调探索与样本效率问题，通过设计内在奖励促进智能体探索，提升学习效果。
有哪些具体的内在动机方法被用于多智能体探索？
包括基于好奇心驱动的多智能体共探算法、I-Go-Explore方法、结合模仿学习的内在动机方法、基于因果影响的反事实推理机制等。
I-Go-Explore方法是如何缓解稀疏奖励问题的？
I-Go-Explore将内在动机学习与Go-Explore框架结合，以缓解稀疏奖励带来的detachments问题，提升样本效率。
内在动机与模仿学习结合有什么优势？
可以优化探索行为，解决奖励信号稀疏的挑战，在过程生成环境中取得优异性能和更好泛化能力，效率同等或更高。
基于因果影响的内在动机机制如何促进多智能体协调？
通过奖励代理对其他代理行为产生因果影响，使用反事实推理评估影响，从而增强社交困境环境中的协调性和沟通，并改善学习曲线。
这些内在动机方法在哪些任务中得到了验证？
在协作导航、双臂操作、多智能体运动、网格世界协调游戏和扑克牌等部分可观察环境中验证了有效性。
