与学习代理人的契约
内容提要
本文综述委托代理与合同理论的多项研究，涵盖多轮合同承诺算法、线性合同最优性、AI自主设计激励合同、在线隐藏行动与逆向选择学习、激励感知任务委托及多智能体强化学习，推动了合同设计与在线学习遗憾界的改进。
延伸解读
合同理论的计算视角
本文从理论计算机科学角度研究契约理论，旨在解释简单契约的普遍性。通过证明线性契约在极端情况下是最佳选择，揭示了简单契约的特征。这一研究为理解现实世界中简单合同为何广泛存在提供了理论依据，并推动了合同设计的算法化分析。
AI自主设计激励合同
实验研究表明，AI算法在双重委托代理问题的双重合同模型中能够自主学会设计激励合规的合同。在合同中，一方可以采取勾结或竞争等多态行为，但欺骗行为似乎并不存在于制定的合同中。这展示了AI在合同设计中的潜力，并引发对AI合同设计可靠性的思考。
在线学习与遗憾界改进
针对在线环境下的隐藏行动代理问题，研究提出了在线学习算法，并给出了Stackelberg遗憾的上界。通过球形编码的覆盖数限制契约设计的困难性和离散化误差，提供了无限制上界。这些工作显著改进了之前已知的遗憾上界，为在线合同学习奠定了理论基础。
多智能体强化学习中的合同方法
本文提出一种基于经济学形式合同思想的多智能体强化学习方法，用于解决自私代理中个人与群体奖励分歧问题。经验实验表明，该方法可使马尔可夫游戏中所有平稳状态达到社会最优行为策略。这为多智能体协作提供了新的思路，并展示了合同机制在AI中的实际应用价值。
Q&A
在多轮合同承诺问题中，如何学习近似最优的合同？
研究设计了一种算法，在每轮观察到结果后，能够以高概率学习到近似最优的合同，并在行动空间较小的情景下取得突破，提供了O(T^{4/5})的遗憾上界，明显改善了之前已知的遗憾上界。
线性合同在什么情况下是最优的？
研究从理论计算机科学角度探讨契约理论，证明线性合同在极端情况下保证是最佳选择，揭示了这种简单契约的特征。
AI算法能否自主设计出激励合规的合同？
实验研究发现，AI算法在双重委托代理问题的双重合同模型中，可以自主学会设计能够激励合规的合同，且欺骗行为似乎并不存在于制定的合同中。
在线隐藏行动代理问题中，如何限制契约设计的困难性？
研究提出了一种在线学习算法，给出了关于Stackelberg遗憾的上界，并使用球形编码的覆盖数来限制契约设计的困难性和离散化误差，最终给出了关于合同和行动空间的无限制上界。
在重复逆向选择博弈中，主体如何平衡估计代理的奖励与提供激励？
主体需要在保持一致性估计代理的未知奖励与通过提供自适应激励最大化自身效用之间进行权衡，而代理通过解决多臂赌博机问题来最大化其预期奖励和激励。
如何通过激励感知的机器学习任务委托来防止利益冲突？
研究提出了一种激励感知的机器学习任务委托理论框架，通过防止利益冲突及影响预测性能的问题，并利用学习曲线和标度律构建小规模数据所需的预算最优合约，以实现性能和经济成果的综合评估。
多智能体强化学习中如何解决个人与群体奖励分歧？
研究提出一种基于经济学中形式合同思想的多智能体强化学习方法，通过经验实验得出，该增强方法可使马尔可夫游戏中所有平稳状态达到社会最优行为策略。
