混合 Q- 函数：用于连续动作领域的合作 MARL 中推进基于价值的方法
内容提要
该文综述多智能体强化学习中的值函数分解方法，重点介绍QMIX及其改进。QMIX通过混合网络和非负权重保证集中训练与分散执行的一致性，在SMAC上表现优异。后续研究提出QR-MIX、QFree、DFAC、IQV系列等，引入分位数回归、优势函数等价条件和分布式价值学习，以提升随机性、单调性和表示能力，并在复杂基准中达到先进水平。
延伸解读
从QMIX到QR-MIX：随机性建模的演进
QMIX通过单调性约束保证集中训练与分散执行的一致性，但可能限制价值函数的表示能力。QR-MIX引入分位数回归来建模联合状态行动值的分布，而非仅期望值，从而更好地处理随机环境。这一改进提高了对随机性和单调性的容忍度，在实验中优于QMIX。
QFree：基于优势函数的等价条件与正则化
QFree方法从优势函数出发，推导出IGM原则的数学等价条件，并设计更具表达能力的混合网络结构来满足等价分解。它将等价条件作为正则化项融入策略评估的损失函数中，在非单调矩阵博弈和SMAC等基准上达到先进水平，为价值分解提供了新思路。
分布式价值分解：应对不确定性的DFAC框架
DFAC框架将分布式强化学习与价值函数分解相结合，以解决多智能体环境中的不确定性和随机性问题。实验表明，在含有随机回报的博弈任务上，DFAC能优于传统的期望价值函数分解方法，说明建模回报分布而非仅期望值有助于提升鲁棒性。
连续动作空间的拓展：离散化与价值分解结合
针对高维连续动作空间，有研究将动作离散化并与价值分解结合，把单智能体控制转化为多智能体协作学习，从而将Q-learning类方法应用于连续控制。该方法能在学习特征或像素信息的情况下与最先进的连续动作优化技术相匹敌，并在多种连续控制任务中表现强大。
Q&A
QMIX 是如何保证集中训练与分散执行的一致性的？
QMIX 通过混合网络估计联合行动价值，并利用混合网络中的非负权重和每个代理价值的单调组合来保证中心化和分散策略之间的一致性。
QR-MIX 相比 QMIX 有什么改进？
QR-MIX 通过引入分位数回归来建模联合状态行动值分布，结合 QMIX 和隐式分位数网络，提高了随机性和单调性的容忍度，性能优于 QMIX。
QFree 方法是如何实现价值函数分解的？
QFree 基于优势函数开发了 IGM 原则的数学等价条件，并使用更具表达能力的混合网络结构来满足等价分解，同时在策略评估过程中将等价条件作为正则化项开发了一种新型损失函数。
DFAC 框架解决了多智能体强化学习中的什么问题？
DFAC 框架将分布式 RL 和价值函数分解方法相结合，以解决多智能体强化学习环境中不确定性和随机性问题，实验证明 DFAC 可以在含随机回报的博弈任务上优于期望价值函数分解方法。
IQV 系列算法中哪个表现最佳？为什么？
在 IQV、IQV-Max、QVMix 和 QVMix-Max 中，QVMix 在测试环境中表现最佳，其优于其他算法的原因在于其 Q 函数的过高估计偏见相对较低。
如何将 Q-learning 应用于高维连续动作空间？
通过将单智能体控制转化为多智能体协作学习，将动作离散化并结合价值分解，从而将 Q-learning 方法应用于高维连续动作空间，能够在学习来自特征或像素的信息的情况下与最先进的连续动作优化技术相匹敌。
