长期安全强化学习与二进制反馈
内容提要
该文综述安全强化学习研究，涵盖多种方法：SABRE元算法利用离线安全反馈主动学习，确保不采取不安全操作并获得近似最优策略；基于Lyapunov的方法平衡约束满足与性能优化；强化学习结合轨迹优化实现高奖励与近零违规；控制屏障函数与高斯过程保障学习安全；SLUCB-QVI等算法实现安全下的低遗憾；统一框架DRAC兼顾任务与安全策略；鲁棒不变集合应对干扰；控制理论安全过滤器认证策略安全。
延伸解读
二进制反馈下的安全学习：SABRE 的主动查询思路
SABRE 元算法面向任意 MDP，仅依赖离线 oracle 提供的二进制状态/动作对安全反馈。它通过主动学习控制查询次数，并在技术假设下保证不采取不安全操作，最终以高概率获得近似最优安全策略。这提示读者：当安全信号只能以“安全/不安全”二值形式获得时，主动选择查询哪些状态-动作对，是平衡安全保证与学习效率的关键。
从 Lyapunov 到控制屏障函数：安全保证的理论工具
文章梳理了多种以控制理论为根基的安全强化学习方法：基于 Lyapunov 的方法在保证行为策略安全的前提下平衡约束满足与性能优化；结合控制屏障函数与高斯过程建模未知动态，可在学习过程中提供安全保证；控制理论安全过滤器则用于认证标准 RL 策略的状态安全约束。这些方法共同说明，安全保证往往依赖对系统动态的建模或稳定性假设。
统一安全与鲁棒：DRAC 框架及干扰应对
DRAC 框架将有约束的两人零和马尔可夫博弈用于统一安全强化学习与鲁棒强化学习，通过双重策略迭代同时优化任务策略和安全策略，并证明了收敛性。在安全关键基准中，DRAC 在无对手、安全对手和性能对手三种情景下均实现高性能与持续安全。另一项工作则通过鲁棒不变集合应对真实控制任务中的外部干扰，并以约束强化学习优化策略。
实际部署中的权衡：奖励、违规与安全恢复
文章还展示了强化学习与轨迹优化结合在真实机器人任务中的表现：在最大化奖励与遵守安全约束之间取得权衡，实现高奖励和几乎零安全违规。此外，基于概率动力学模型的安全过滤器可将安全验证转化为标准 RL 任务，并扩展到具有高概率安全保证的“备份”策略，在滚动过程中逐步调整名义策略以保证安全恢复。这些工作表明，安全强化学习正从理论保证走向可部署的工程方案。
Q&A
SABRE元算法如何保证强化学习训练过程中不采取不安全操作？
SABRE是一种元算法，适用于任何MDP环境，它接收提供二进制状态/动作对安全反馈的离线oracle，通过主动学习控制查询oracle的数量，并在合适的技术假设下保证不会采取不安全操作，最终获得高概率的近似最优安全策略。
基于Lyapunov方法的安全强化学习如何平衡约束满足和性能优化？
该算法利用Lyapunov方法，在保证行为策略安全的前提下，有效地平衡约束满足和性能优化。
强化学习结合轨迹优化在真实机器人任务中表现如何？
该方法将强化学习与轨迹优化相结合，管理最大化奖励与遵守安全约束之间的权衡，在安全性出发推理阶段取得显著高奖励和几乎零安全违规的性能，并通过真实机器人推动盒子穿越障碍物的任务展示了实际应用性。
控制屏障函数和高斯过程如何保障学习过程中的安全？
一种控制器架构将无模型的强化学习控制器与利用控制屏障函数和未知系统动态的模型控制器相结合，以确保学习过程中的安全，并利用高斯过程对系统动态进行建模和不确定性分析。
SLUCB-QVI和RSLUCB-QVI算法在安全强化学习中有什么特点？
针对线性函数状态下的马尔科夫决策过程，SLUCB-QVI和RSLUCB-QVI算法能够在没有安全问题的情况下实现几乎与现有不安全算法相匹配的一定遗憾水平。
DRAC框架如何统一安全强化学习和鲁棒强化学习？
DRAC框架建立在有约束的两人零和马尔可夫博弈上，提出双重策略迭代方案同时优化任务策略和安全策略，并证明了收敛性，还设计了深度强化学习算法DRAC。安全关键的基准评估表明，DRAC在所有情景下实现了高性能和持续的安全性，明显优于所有基准线。
鲁棒安全强化学习框架如何应对外部干扰？
该框架通过建立鲁棒不变集合来保证安全，并采用约束强化学习算法进行策略优化，解决在真实控制任务中应用强化学习时外部干扰的安全性问题。
基于控制理论的安全过滤器如何认证强化学习策略的安全性？
该方法通过概率动力学模型提供基于控制理论的置信度安全过滤器，用于认证通过标准强化学习技术学习的名义策略的状态安全约束条件，将安全验证降低到标准强化学习任务。利用幻想输入的概念，扩展到确定对未知系统具有高概率安全的“备份”策略，并在滚动过程中每个时间步骤最小调整名义策略以保证安全恢复，提供了正式的安全保证。
