有界契约是否可学习和近似最优？
内容提要
本文综述委托代理与合同设计研究：委托人通过结果相关支付激励代理采取不可观察行动；多轮承诺下，算法能以高概率学习近似最优合同，在线学习遗憾上界为O(T^{4/5})。研究还涉及重复合同、逆向选择、激励感知机器学习委托、AI双重合同实验，以及部分可观察环境下的因果迁移学习，并改进贝叶斯增强算法以加快收敛。
延伸解读
理论突破：从离线到在线学习的遗憾界改进
文章指出，在多轮合同承诺下，算法能以高概率学习到近似最优合同，并实现O(T^{4/5})的遗憾上界，这明显优于此前已知结果。该上界针对行动空间较小的情景，利用球形编码的覆盖数来限制契约设计的困难性和离散化误差，为在线环境下的委托代理问题提供了理论保证。
重复博弈中的动态合同与逆向选择
研究涉及重复合同和重复逆向选择博弈。在重复逆向选择中，代理通过多臂赌博机学习最大化奖励，委托人则需在估计代理未知奖励与提供自适应激励之间权衡。动态合同方案对知识有限的主体和代理均有利，并可应用于不同时间范围。
激励感知的机器学习委托与AI合同实验
文章提出激励感知的机器学习任务委托框架，通过小规模数据预算最优合约防止利益冲突。实验显示，AI算法在双重委托代理问题中能自主设计激励合规的合同，且未发现欺骗行为。这些工作将合同理论扩展到AI系统间的交互。
因果迁移学习改进贝叶斯增强算法
在部分可观察环境下，研究将上下文马尔可夫决策过程的迁移学习转化为因果效应识别问题，通过线性规划求解相容因果模型并获得因果边界。该方法能处理一般上下文分布，改善对函数空间大小的依赖，并证明比传统贝叶斯增强算法收敛更快，模拟实验验证了其高效性。
Q&A
什么是有界契约？它是否可以被学习和近似最优？
有界契约是委托代理问题中，委托人通过结果相关支付激励代理采取不可观察行动的一种合同。研究表明，在多轮合同承诺下，算法能够以高概率学习到近似最优的合同，并且在线学习遗憾上界为O(T^{4/5})，明显优于之前已知的界。
在线学习环境下，如何设计算法来学习近似最优合同？
针对在线环境下的隐藏操作代理问题，可以设计在线学习算法，利用Stackelberg遗憾上界和球形编码的覆盖数来限制契约设计的困难性和离散化误差，从而给出关于合同和行动空间的无限制上界。
重复合同如何使知识有限的主体和代理都受益？
通过学习代理的重复合同，可以提供一种动态合同解决方案，这种合同对于知识有限的主体和代理都有利，并且可以应用于不同的时间范围。
在重复逆向选择博弈中，自私学习代理和学习主体如何互动？
代理通过解决多臂赌博机问题来最大化其预期奖励和激励，主体则在保持一致性估计代理的未知奖励与通过提供自适应激励最大化自身效用之间进行权衡。
AI算法在双重委托代理问题的双重合同模型中表现如何？
实验研究发现，AI算法可以自主学会设计可以激励合规的合同，而在合同中，一方可以采取勾结或竞争等多态行为，而且欺骗行为似乎并不存在于制定的合同中。
部分可观察环境下的因果迁移学习如何改进贝叶斯增强算法？
通过将部分可观察环境下的上下文马尔可夫决策过程中的迁移学习问题转化为识别或部分识别动作和奖励之间因果效应的问题，并通过线性规划的顺序求解获得相容的因果模型，在考虑估计误差的情况下获得因果边界。采样算法提供了适宜的采样分布的收敛结果，然后展示了如何将因果边界应用于改进传统的贝叶斯增强算法，并对动作集大小和函数空间的影响进行了分析。与以往文献相比，该方法在函数逼近任务中可以处理一般的上下文分布，改善了对函数空间大小的依赖性。正式证明了因果增强算法优于传统的贝叶斯增强算法，并实现了数量级更快的收敛速度。
