完全去中心化的合作多智能体强化学习：调查
内容提要
该文综述多智能体强化学习（MARL）进展，聚焦分散式设置下的协调协议，从分布式优化视角梳理强化学习由单智能体向多智能体系统的演变，强调MARL与分布式优化、信号处理的结合，涵盖集中训练分散执行、共识学习、网络化智能体的去中心化决策、多机器人协作、多任务学习及采样复杂度问题，并总结未来方向与挑战。
延伸解读
从分布式优化视角理解MARL
文章强调从分布式优化视角梳理强化学习从单智能体到多智能体的演变，并突出MARL与分布式优化、信号处理的交叉合作。这提示读者，去中心化协调协议的设计可借鉴分布式优化中的共识、分解等思路，而非仅依赖端到端学习。这种视角有助于理解算法为何关注通信网络与邻居信息交换。
集中训练分散执行仍是主线
文中多次提及集中式学习与分散式执行（CLDE）范式，并讨论不同信息共享机制如何影响团体协调行为。这说明当前合作MARL研究仍以训练阶段利用全局信息、执行阶段保持去中心化为主要框架。读者需注意，执行时的去中心化程度与训练时的信息集中程度并不等同，二者组合会显著改变协调效果。
共识学习提供显式协调信号
文章介绍了一种共识学习方法，在分散式执行期间将基于本地观察推断出的共识作为智能体网络的输入，从而促进合作。这为去中心化协调提供了一种显式机制：智能体不直接共享全局状态，而是通过共识信号对齐行为。该思路在完全合作任务上已有验证，但文章未展开其通信开销与可扩展性细节。
采样复杂度是扩展瓶颈
文章指出，当智能体数目增多时，MARL算法的采样复杂度呈指数级增长，并提到有研究提出去中心化学习算法在关键方面进行优化。这提醒读者，多智能体系统的规模扩展并非简单增加智能体即可，样本效率是实际部署中必须关注的限制。文中通过数值仿真验证了相关理论，但未给出具体适用边界。
Q&A
多智能体强化学习中的集中训练分散执行（CTDE）是什么？
CTDE 是一种多智能体强化学习范式，旨在实现类似人类的协作。它允许在训练阶段使用集中式信息，但在执行阶段每个智能体仅基于本地观察独立行动，从而兼顾训练效率与执行时的分散性。
网络化智能体下的去中心化多智能体强化学习主要研究什么？有哪些应用？
该领域研究多个智能体在公共环境中执行顺序决策，无需中央控制器协调，智能体可通过通信网络与邻居交换信息。其应用广泛，包括机器人、无人驾驶车辆、移动传感器网络和智能电网的控制与操作。
共识学习在多智能体强化学习中是如何促进合作的？
共识学习方法通过基于本地观察的共识学习，在分散式执行期间将推断出的共识明确作为智能体网络的输入，从而发展智能体间的合作精神，并在多个完全合作任务上取得了令人信服的结果。
多智能体强化学习在代理数量增多时面临什么主要问题？有哪些应对方法？
主要问题是采样复杂度随代理数目增多呈指数级增长。应对方法是提出一些去中心化的学习算法，并在几个关键方面进行优化，同时通过数值仿真验证理论的有效性。
多智能体强化学习如何应用于多机器人协作？面临哪些挑战？
文章总结了分布式无模型多智能体强化学习在多机器人协作中面临的挑战以及现有的解决方案类别，并介绍了基准测试和机器人应用，同时讨论了当前的研究方向。
多智能体强化学习中处理多任务学习问题有什么去中心化方法？
研究提出了一种去中心化的单任务学习方法，并介绍了一种将单任务策略转化为适用于多个相关任务的统一策略的方法，无需明确标识任务身份。
