【多智能体强化学习】VDN 论文笔记
内容提要
本文介绍了多智能体强化学习中的价值分解网络（VDN），通过将全局价值函数分解为各个智能体的局部价值函数之和，解决了独立学习方法的不足，促进了智能体之间的协作。文章讨论了VDN的核心框架、实现方法及其在训练中的应用，强调了权重共享、角色信息和信息通道等技巧，以提高学习效率和策略的泛化能力。
延伸解读
VDN 如何缓解多智能体独立学习的不稳定
文章指出，独立学习（IDQN）中每个智能体只优化自身奖励，忽略他人行为，容易导致学习不稳定和“懒惰”智能体。VDN 通过将全局 Q 值分解为各智能体 Q 值之和，使梯度从 Q_total 回传到每个 Q_i，从而在训练时考虑团队协作。这种集中式训练、分布式执行的机制，让智能体在执行时仅依赖局部观测，却能在训练中隐式学习合作策略。
权重共享与角色信息：提升泛化与效率
VDN 原文提出权重共享、角色信息和信息通道等技巧。权重共享让执行相似任务的智能体共用参数，减少参数量并加速学习。角色信息通过 one-hot 编码标识智能体职责，使参数共享仅发生在相同角色之间，避免不同职责的智能体相互干扰。这些技巧有助于提高策略的泛化能力，但需根据任务特点合理设计角色划分。
信息通道：智能体间协调的通信机制
信息通道允许智能体在决策时共享观测信息，分为低层、高层及混合架构。低层通信在计算 Q 值时直接输入其他智能体的观测；高层通信在上层进行信息融合。这种显式或隐式的通信能协调行动，但文章也暗示通信设计需权衡信息量与计算开销。实际应用中，需根据任务需求选择通信层级，避免过度通信导致复杂度上升。
Q&A
什么是价值分解网络（VDN）？
价值分解网络（VDN）是一种多智能体强化学习方法，通过将全局价值函数分解为各个智能体的局部价值函数之和，促进智能体之间的协作。
VDN如何解决独立学习方法的不足？
VDN通过将全局价值函数分解为局部价值函数，确保智能体之间的合作，从而克服了独立学习方法中忽略相互作用导致的不稳定性。
在VDN中，智能体的学习目标是什么？
在VDN中，智能体的学习目标是最大化整个团队的奖励，而不是各自的即时奖励。
VDN中有哪些小技巧可以提高学习效率？
VDN中的小技巧包括权重共享、角色信息和信息通道，这些技巧可以提高学习效率和策略的泛化能力。
权重共享在VDN中有什么作用？
权重共享可以减少学习参数，加快学习速度，适用于执行相似任务的智能体。
VDN如何实现智能体之间的信息传递？
VDN通过信息通道允许智能体之间显式或隐式地传递信息，以协调行动。
