约束强化学习的平均奖励目标：基于模型和无模型算法
内容提要
该研究探讨了模型不确定性对马尔科夫决策过程的影响，提出了多种无模型强化学习算法，以提高平均回报的估计和置信区间构建。研究包括针对无限时间持续的MDP问题的两种新算法，以及在满足成本约束下最大化累积奖励的策略优化方法，展示了在多种环境中的优越性能。
延伸解读
平均奖励MDP的遗憾界改进
文章提出的两种无模型算法针对无限时间平均奖励MDP，第一种在弱相互通信条件下将问题简化为折扣回报，遗憾为O(T^(2/3))；第二种利用对抗多臂老虎机自适应算法，将遗憾改进至O(sqrt(T))，但需要更强的遍历条件。这一结果取代了Abbasi-Yadkori等人2019年在ergodic MDP下仅达到O(T^(3/4))的遗憾，显示了在特定条件下更优的理论保证。
约束强化学习的算法与理论
在成本平均值约束下最大化累积奖励的问题中，文章提出了基于模型的UCRL-CMDP算法，其后悔向量期望上界为O(T^(2/3))，并引入M+1维后悔向量衡量奖励与不同成本的差异。此外，针对平均准则的受约束MDP，提出了平均约束策略优化（ACPO）算法，通过平均MDP灵敏度理论提供性能保证，并在MuJoCo环境中展现出优于现有算法的性能。
奖励自由与受限制RL的联系
文章探讨了奖励自由强化学习与受限制强化学习之间的联系，在标记MDP设置中提出一种元算法，利用现有奖励自由RL解算器直接求解受限制RL问题，匹配最佳结果，并在线性函数近似下扩展到标记二人马尔可夫博弈。这为受限制RL提供了一种新的求解思路，并建立了不同RL范式之间的理论桥梁。
实际约束下的安全强化学习
针对现实世界中的约束条件，文章提出一种新的强化学习算法，将成本累加约束转化为基于状态的约束，确保代理在训练过程中满足这些约束，同时最大化回报。实验证明，这种基于深度神经网络的算法在安全导航任务和约束版MuJoCo环境中表现出色，为安全强化学习的实际应用提供了可行方案。
Q&A
模型不确定性如何影响马尔科夫决策过程？
模型不确定性会影响马尔科夫决策过程的决策质量和回报估计，导致算法性能下降。
有哪些无模型强化学习算法被提出？
研究提出了基于参考优势分解的在线无模型强化学习算法和适用于模拟器环境的无模型强化学习算法。
平均约束策略优化（ACPO）算法的主要特点是什么？
ACPO算法通过对平均MDP的灵敏度理论进行开发，提供理论保证，并在MuJoCo环境中表现优越。
如何在满足成本约束的情况下最大化累积奖励？
通过设计基于模型的强化学习算法，确保每个成本值的平均值被绑定在特定的上界之内，从而最大化累积奖励。
研究中提出的两种新算法的遗憾改进情况如何？
第一种算法的遗憾为O(T^(2/3))，第二种算法的遗憾改进至O(sqrt(T))，但需满足更强的遍历条件。
奖励自由强化学习与受限制强化学习之间有什么联系？
研究探讨了两者之间的联系，并提出了一种元算法来直接求解受限制的强化学习问题。
