数字孪生的保守和风险意识离线多智能体强化学习
内容提要
该文综述多智能体强化学习（MARL）研究进展，涵盖离线基准OG-MARL、去中心化网络化智能体、多机器人协作、基于模型的离线算法MOMA-PPO、6G网络应用、风险敏感博弈及量子MARL等方向，并涉及自动驾驶、无人机与供应链等应用场景。
延伸解读
离线MARL的基准与风险意识
文章指出离线多智能体强化学习缺乏标准基准，OG-MARL的提出填补了这一空白，其数据集源自在线基准，具有复杂动态、非静态性、局部可观察性和稀疏奖励等特征。同时，基于条件风险价值的方法被用于未知环境下的决策，表明风险敏感性与离线学习正成为重要研究方向。
去中心化协作与通信网络
去中心化多智能体强化学习关注无中央控制器协调下的顺序决策，智能体可通过通信网络与邻居交换信息。这种设置适用于机器人、无人驾驶车辆、移动传感器网络和智能电网等场景。文章还总结了多机器人协作中分布式无模型方法的挑战与解决方案，并介绍了相关基准测试。
模型化离线算法与协作改进
针对离线多智能体协作问题，MOMA-PPO利用合成交互数据帮助智能体在策略调整中更好地协调，解决了现有算法协作不佳的问题。这体现了基于模型的离线算法在提升多智能体协调性方面的潜力，为实际部署提供了新思路。
跨领域应用与量子增强
多智能体强化学习在6G网络、自动驾驶、无人机和供应链等领域有广泛应用。量子MARL算法结合量子优势，旨在实现多智能体合作、参数高效利用和快速收敛，并引入投影值测量提高可伸缩性。量子多无人机控制框架也展示了稳定的训练结果和良好的服务质量表现。
Q&A
OG-MARL是什么？它解决了离线多智能体强化学习中的什么问题？
OG-MARL是一个离线多智能体强化学习（MARL）数据集和算法框架，旨在填补离线MARL领域缺乏标准基准和评估方法的空白。它包含一套标准评估方案，数据集从在线MARL基准生成，具有复杂动态、非静态性、局部可观察性、次优性和稀疏奖励等特征。
去中心化网络化多智能体强化学习主要研究什么？有哪些应用？
去中心化网络化多智能体强化学习研究多个代理在公共环境中执行顺序决策，无需中央控制器协调，代理可通过通信网络与邻居交换信息。其应用广泛，包括机器人、无人驾驶车辆、移动传感器网络和智能电网的控制与操作。
MOMA-PPO算法是什么？它解决了什么问题？
MOMA-PPO是一种基于模型的离线多智能体近端策略优化算法，针对现有离线多智能体强化学习算法在协作中存在的问题，利用合成的交互数据帮助智能体在策略调整中更好地协调，成功解决了多智能体任务中的协作问题。
多智能体强化学习在6G网络中有什么应用？
多智能体深度强化学习在AI驱动的6G网络中具有重要作用，其最新研究进展和应用前景包括移动边缘计算、无人机网络和大规模无线接入等方面。
如何将风险敏感性引入多智能体强化学习？有什么发现？
使用累积概率理论（CPT）的分布式采样型actor-critic算法为网络聚合式马尔科夫博弈（NAMG）引入风险敏感性，实现主观感知的马尔科夫最优纳什均衡。实验表明，通过该算法获得的主观CPT策略可能与风险中性策略不同，具有更高损失规避倾向的智能体在NAMG中更倾向于社会隔离。
量子多智能体强化学习有哪些应用案例？
量子多智能体强化学习有两个应用案例：一是量子多无人机强化学习框架，用于自主多无人机控制，经过训练和分析实现了合理的回报收敛和服务质量表现，具有更稳定的训练结果；二是基于量子供应链的量子MARL算法，结合多智能体强化学习和量子优势，实现多智能体合作、有效利用参数和快速收敛，并引入投影值测量技术提高可伸缩性。
