基于情景无关表征实现多智能体迁移强化学习
内容提要
本文综述多智能体强化学习研究，涵盖集中训练与分散执行、少样本适应、知识蒸馏、基于模型的方法及通信机制，并介绍SMART仿真平台、自适应智能体数量、网络化去中心化决策和分层协作等进展。
延伸解读
从集中训练到分散执行：多智能体协作的关键范式
文章多次提到集中训练与分散执行（CTDE）框架，这是多智能体强化学习中的核心范式。在训练阶段，智能体可以利用全局信息进行集中式学习；在执行阶段，每个智能体仅依赖局部观测独立决策。这种设计既缓解了环境非平稳性问题，又保证了实际部署的可行性。例如，MAMBA方法利用基于模型的强化学习，在集中训练中让智能体共享世界模型，从而减少与环境交互的次数。
应对动态智能体数量：少样本适应与自适应机制
多智能体系统中智能体数量可能动态变化，这对传统方法构成挑战。文章提到一种具有少样本学习能力的网络架构，允许在集中训练期间智能体数量变化，并使新智能体的模型适应速度比基线快100多倍。此外，自适应多智能体强化学习（Self-paced MARL）能根据任务难度自动优化智能体数量，在智能体数量对任务难度有足够影响时提升表现。这些进展增强了系统在开放环境中的鲁棒性。
仿真平台与真实系统：推动多机器人研究的基石
文章介绍了SMART仿真平台，它包含仿真环境和真实多机器人系统，支持基于插件的算法实现，并开源了合作驾驶变道等基准任务。这类平台为多机器人强化学习提供了可扩展的测试环境，有助于算法从仿真到现实的迁移。同时，网络化去中心化决策的研究关注无中央控制器的协调，在机器人、无人驾驶车辆、移动传感器网络和智能电网中具有广泛应用前景。
Q&A
多智能体强化学习中，集中训练与分散执行是如何实现的？
集中训练与分散执行是多智能体强化学习的一种范式，在训练阶段使用全局信息，执行阶段每个智能体仅基于局部观测独立决策。文章提到，通过分解多智能体问题、知识蒸馏和价值匹配等方法，智能体之间可以共享信息，从而解决维度灾难问题，并在离散和连续动作空间中实现更好的性能。
如何让多智能体系统快速适应智能体数量的变化？
文章提出一种具有Few-shot Learning算法的网络架构，允许在集中式训练期间代理的数量变化，这可以使新代理的模型适应速度比基线模型快100多倍。
基于模型的强化学习在多智能体通信中有什么作用？
文章提出MAMBA方法，利用基于模型的强化学习（MBRL）进一步利用合作环境中的集中式训练，使代理之间的通信足以在执行阶段维持每个代理的世界模型，而虚拟推演可用于培训，从而通过减少与环境的互动次数，在SMAC和Flatland等挑战性领域中实现良好性能。
SMART仿真平台是什么？它有什么特点？
SMART是一个用于多机器人强化学习的可扩展仿真平台，包含一个仿真环境和一个真实的多机器人系统，以提供多样化的交互场景进行训练，并支持基于插件的算法实现。文章还研究了合作驾驶变道场景，并开源了仿真环境、基准测试任务和基线模型。
自适应多智能体强化学习如何优化智能体数量？
自适应多智能体强化学习（Self-paced MARL）可以根据任务的难度自动优化智能体数量，实验结果显示该方法在智能体数量对任务难度有足够影响时可以提高任务表现。
网络化去中心化多智能体强化学习有哪些应用场景？
网络化去中心化多智能体强化学习研究多个代理在公共环境中执行顺序决策，无需任何中央控制器的协调，代理可以通过通信网络与其邻居交换信息。此设置在机器人、无人驾驶车辆、移动传感器网络和智能电网的控制和操作中具有广泛应用。
