政策空间响应预测：一项调查
内容提要
PSRO是学习多智能体策略的通用框架，通过深度强化学习训练最佳响应。后续研究提出多项改进：Mixed-Oracles和Mixed-Opponents减少模拟量；Efficient PSRO提升50倍速度和10倍数据效率；增强框架引入Nash议价解，可产生媲美人类的谈判代理；PSD-PSRO通过多样性度量逼近Nash均衡；基于α-Rank的PSRO收敛更快；ADO降低可利用性；Pipeline PSRO可扩展至大型博弈；PSRO还用于提升TSP解算器泛化能力。
延伸解读
PSRO 的演进脉络
从 2019 年到 2023 年，PSRO 经历了多次改进。早期工作如 Mixed-Oracles 和 Mixed-Opponents 专注于减少深度强化学习训练中的模拟量；随后 Efficient PSRO 通过无遗憾优化和并行化，在保持低可利用度的同时大幅提升速度与数据效率；近期研究则引入 Nash 议价解、多样性度量和 α-Rank 等概念，进一步拓展了 PSRO 的能力边界。这些改进共同推动了 PSRO 从理论框架向实用算法的转变。
效率与可扩展性的提升
PSRO 面临的主要挑战是计算和探索效率低下。Efficient PSRO 在 Kuhn 和 Leduc Poker 中实现了 50 倍加速和 10 倍数据效率，同时保持可利用度。Pipeline PSRO 通过分层管道并行化强化学习工作者，成为首个可扩展至大型零和不完全信息博弈的方法，并具有收敛保证。这些进展表明，PSRO 正逐步克服传统博弈论方法在复杂环境中的计算瓶颈。
多样化应用与理论拓展
PSRO 的应用已超越传统博弈，例如用于提升 TSP 解算器的泛化能力，通过训练解算器群体并降低效用至 Nash 均衡。理论方面，基于 α-Rank 的 PSRO 建立了收敛保证，并揭示了 Nash 均衡与 α-Rank 的联系；ADO 算法则专注于最小化可利用性。此外，反思性 Oracle 为经典博弈论提供了因果决策论基础。这些工作显示了 PSRO 框架的广泛适应性。
Q&A
PSRO是什么？它的基本工作原理是什么？
PSRO（Policy-Space Response Oracles）是一种用于学习多智能体系统中策略的通用算法框架。它通过将经验博弈分析与深度强化学习相互交错，在每次迭代中使用深度强化学习来训练最佳响应，从而减少模拟调整所需的计算量。
PSRO有哪些改进方法可以减少训练所需的模拟量？
有两种PSRO变体旨在减少深度强化学习训练期间的模拟量：Mixed-Oracles和Mixed-Opponents。这些算法在减少训练所需模拟量的同时，实验证明产生了与游戏等价或更好的解决方案。
Efficient PSRO如何提升计算和数据效率？
Efficient PSRO通过引入no-regret optimization和parallelization等技术，有效优化了算法，在保证Kuhn和Leduc Poker博弈中的可利用度的情况下，提高了50倍的速度和10倍的数据效率。
PSRO在谈判博弈中能产生什么样的代理？
通过添加一种新颖的搜索程序和生成抽样方法进行增强，并引入基于Nash议价解的两种新元策略解决方法，PSRO在谈判博弈中能够成功计算近似Nash平衡，并且可以产生与人类谈判相当的代理人。
PSD-PSRO与标准PSRO相比有什么优势？
PSD-PSRO（Policy Space Diversity PSRO）通过一种新的多样性度量，可以更有效地产生明显不易被利用的政策来近似Nash均衡。
基于α-Rank的PSRO在收敛速度上有什么表现？
基于α-Rank的PSRO可以在很多游戏中实现比近似Nash Solver更快的收敛速度。该研究将PSRO扩展到广义和多人游戏中，通过使用α-Rank解决方案概念，建立了收敛保证，并确定了Nash平衡和α-Rank之间的联系。
ADO算法与PSRO相比有什么改进？
ADO是一种新的基于tabular的双选手零和博弈算法，用于计算两个策略集合上的Nash均衡，并最小化敌对策略的可利用性。实验证明相比于DO和PSRO等算法，ADO获得了更低的可利用性且可单调减少。
Pipeline PSRO如何扩展到大型博弈？
Pipeline PSRO是第一种可扩展的寻找大型零和不完全信息博弈中近似纳什均衡的方法。它通过维护一个分层管道的强化学习工作者，每个工作者训练低层次生成的策略，实现PSRO并行化，且具有收敛保证。
PSRO如何用于提升TSP解算器的泛化能力？
利用基于PSRO方法的两人零和博弈进行深度学习解算器的泛化能力提升，实现在不同的TSP任务中最大程度的通用性表现，最终实现了解算器人口的效用降低和达到Nash均衡。
XDO和Neural XDO与PSRO相比有什么特点？
XDO（Extensive-Form Double Oracle）更适用于大型博弈中的二人零和游戏，与PSRO相比，可以线性收敛至近似纳什均衡。Neural XDO是XDO的神经网络版本。在实验中，XDO和NXDO取得了优异的性能表现。
