想象，初始化和探索：一种有效的多智能体强化学习探索方法
内容提要
该文综述多智能体强化学习中的探索方法，包括：以Q值预测误差作为内在奖励，利用情节记忆提升协作；基于图通信估计不确定性；混合最佳响应策略；通过CMAE归一化熵协调探索；采用信息论模型提高稀疏状态效率；统一状态空间实现迁移；利用MACE传递本地新奇性促进协同；结合IMARL与反强化学习；使用ACE进行异步探索；以及VIME变分信息最大化。
延伸解读
探索方法的多维度分类
文章综述了多智能体强化学习中的多种探索方法，可大致分为基于内在奖励、基于不确定性估计、基于协调机制等类别。例如，以Q值预测误差作为内在奖励，利用图通信估计不确定性，以及通过归一化熵协调探索。这些方法针对不同问题设计，读者可根据任务特点选择合适策略。
稀疏奖励环境下的探索效率
在稀疏奖励的多智能体环境中，探索尤为困难。文章提到，信息论模型可帮助智能体在稀疏状态空间中找到高级策略，初步实验显示探索有效性提升高达三个数量级。MACE方法通过传递本地新奇性促进协同探索，在三个稀疏奖励环境中表现出优越性能。这些方法为稀疏奖励问题提供了有效思路。
迁移学习与异步探索的实践价值
文章介绍了通过统一状态空间实现迁移学习的框架，在StarCraft多智能体挑战环境中，利用从其他场景学到的技能显著提升了学习性能。此外，异步探索算法ACE可减少机器人探索的实际时间，并利用CNN策略维护团队。这些方法展示了在多智能体系统中应用迁移和异步技术的潜力。
Q&A
多智能体强化学习中，如何利用Q值预测误差作为内在奖励来促进探索？
将个体Q值预测误差作为内部奖励，并使用情节式记忆从经验中提升策略训练，从而实现多代理协作性问题的有效探索和高效学习。
基于图通信的多智能体探索技术是如何工作的？
通过邻近智能体的协作来估计状态-动作空间的不确定性，无需计数机制且可应用于连续状态环境，实现最小信息交换和完全分散的通信方式。
CMAE方法如何协调多智能体的探索？
CMAE通过归一化熵技术从多个状态空间中选择目标，实现智能体之间探索的协调性，并在多项任务中取得良好表现。
MACE方法如何促进多智能体协同探索？
MACE通过仅传递本地新奇性，让代理考虑其他代理的本地新奇性来近似全局新奇性，并引入加权互信息衡量代理行为对其他代理累积新奇性的影响，将其转换为内在奖励，鼓励代理对其他代理的探索产生更多影响，从而促进协同探索。
VIME方法在连续控制任务中的表现如何？
VIME基于变分信息最大化探索，使用贝叶斯神经网络中的变分推断实现，能有效处理连续状态和动作空间，在多种连续控制任务和算法中表现显著优于启发式探索方法。
如何通过统一状态空间实现多智能体强化学习的迁移？
通过将各种状态空间统一为固定大小的输入，使一种统一的深度学习策略能在不同场景中使用，在SMAC环境中，从其他场景学习到的机动技能相比从头学习显著提升了多智能体学习性能。
