不确定环境中的安全强化学习
内容提要
该文综述机器学习安全决策研究，提出以Nadaraya-Watson估计器替代高斯过程的安全学习算法，具备概率安全保证与对数级扩展性；结合Lyapunov稳定性与动力学统计模型获得可证明稳定的控制策略；并介绍迁移学习保障强化学习安全性、闭环范式综合安全控制策略，以及预测约束探索、模型平均降低灾难风险等方法。
延伸解读
从高斯过程到Nadaraya-Watson：安全学习算法的效率权衡
文章提出用Nadaraya-Watson估计器替代高斯过程来提供概率安全保证，并实现对数级扩展。这意味着在数据量增大时，计算负担增长更慢，更适合大规模场景。但文章也强调为估计结果提供了理论保证，并嵌入安全学习算法，在七自由度机器人上实验。读者需注意，这种替换可能牺牲高斯过程的一些贝叶斯性质，但换来了可扩展性，适合对实时性有要求的机器人控制。
Lyapunov稳定性与统计模型结合：可证明稳定的控制策略
文章介绍了一种利用Lyapunov稳定性检验和动力学统计模型的方法，得到具备可证明稳定性证书的高性能控制策略，并通过高斯过程先验进一步保证数据安全性和提高控制性能。在反演摆模拟实验中表现出安全性高、控制性能良好。这表明控制理论中的稳定性证明可以与学习算法结合，为安全强化学习提供形式化保障，而不仅仅是经验上的安全。
迁移学习与闭环范式：提升安全性的不同路径
文章提到使用迁移学习先在一个任务环境中学习如何保持安全性，然后将所学用于约束新任务中的行为，在三个挑战性领域中减少了安全事故并提高了学习速度和稳定性。此外，闭环范式综合安全控制策略明确考虑系统未来演化的不确定性，通过物理动力学和学习算法共同推理，并利用对抗深度强化学习进行放大。这些方法展示了从不同角度（迁移和闭环）提升安全性的思路。
预测约束探索与模型平均：降低灾难风险的实际手段
文章指出通过预测来约束探索可以实现强化学习在自动驾驶中的安全学习。同时，研究深度强化学习中有限训练环境对安全和泛化性能的影响，通过模型平均和使用阻塞分类器等简单方法，可显著降低网格世界中的灾难情况，但在CoinRun环境中仍存在一定失败率，不过可以通过系集的不确定性信息来预测是否需要人类干预。这提示读者，简单方法能缓解部分风险，但复杂环境中仍需不确定性监测和人工干预机制。
Q&A
有哪些方法可以在强化学习中提供概率安全保证并实现对数级扩展？
可以使用 Nadaraya-Watson 估计器替代高斯过程，从而提供概率安全保证，并且在数据点数量方面实现对数级别的扩展。
如何获得具有可证明稳定性证书的控制策略？
结合 Lyapunov 稳定性检验的控制理论结果和动力学统计模型，可以得到具备可证明稳定性证书的高性能控制策略，并通过高斯过程先验进一步保证数据安全性和提高控制性能。
迁移学习如何提升强化学习的安全性？
使用迁移学习方法学习在一个任务环境中如何保持安全性，然后将所学用于约束在学习新任务时的行为，从而减少安全事故，并提高学习的速度和稳定性。
什么是综合安全控制策略的闭环范式？
闭环范式是一种明确考虑系统在可能的未来情景下演变不确定性的新方法，通过物理动力学和机器人的学习算法共同推理，并利用对抗深度强化学习进行放大，能够处理贝叶斯信念传播和大规模预训练神经轨迹预测模型引起的隐式学习。
在自动驾驶中如何通过预测来约束探索以实现安全强化学习？
研究通过预测来约束探索，从而实现强化学习在自动驾驶中的安全学习。
深度强化学习中训练环境有限时，如何降低灾难风险？
通过模型平均和使用阻塞分类器等简单方法，可显著降低在网格世界中的灾难情况，但在 CoinRun 环境中会存在一定失败率，然而可以通过系集的不确定性信息来预测是否需要人类干预。
