平均奖励约束下有效的强化学习探索：通过后验抽样实现接近最优的遗憾
内容提要
本文探讨了后验抽样算法在约束马尔可夫决策过程（CMDP）中的应用，提供了近最优的遗憾界限。研究表明，该算法在无限时间不折扣设置中有效平衡探索与开发，并在理论与实践中表现良好。此外，提出了用于最大化累积奖励的模型基础算法，确保成本平均值约束。
延伸解读
遗憾界限的理论意义
文章证明UCRL-CMDP算法的后悔向量期望上界为O(T^{2/3})，这一结果在约束马尔可夫决策过程中具有近最优性。与无约束强化学习常见的O(√T)遗憾相比，约束条件下的遗憾阶数更高，反映了同时优化奖励和满足成本约束的额外难度。该界限为算法性能提供了理论保证，并揭示了约束对学习效率的影响。
后验抽样在约束环境中的优势
后验抽样（如PSRL）通过贝叶斯更新平衡探索与开发，在约束马尔可夫决策过程中，Safe PSRL等算法无需预先已知安全策略即可实现有界约束违反。文章指出这类方法在实证上优于现有算法，表明后验抽样能有效处理成本约束，同时保持较好的样本效率，为安全强化学习提供了实用途径。
成本约束的实际含义
文章要求每个成本值的平均值被绑定在特定上界内，这意味着算法在最大化累积奖励的同时，必须确保长期平均成本不超过阈值。这种约束在现实场景中对应资源消耗、安全风险等限制。使用M+1维后悔向量分别衡量奖励和不同成本的差异，使算法能同时优化多个目标，为多约束决策问题提供了量化评估框架。
Q&A
后验抽样算法在约束马尔可夫决策过程中的作用是什么？
后验抽样算法在约束马尔可夫决策过程（CMDP）中提供了近最优的遗憾界限，并有效平衡探索与开发。
该研究如何确保成本平均值约束？
研究通过设计模型基础算法，确保每个成本值的平均值被绑定在特定的上界之内。
UCRL-CMDP算法的后悔向量的期望值是多少？
UCRL-CMDP算法的后悔向量的期望值的上界为 O（T ^ {2/3}）。
该算法在理论与实践中的表现如何？
该算法在理论与实践中表现良好，能够有效平衡探索与开发。
如何最大化累积奖励而不违反约束？
通过设计基于模型的强化学习算法，在满足成本平均值约束的情况下最大化累积奖励。
后验抽样算法的优势是什么？
后验抽样算法在无限时间不折扣设置中有效平衡探索与开发，并在实证上比现有算法更具优势。
