增强强化学习智能体与本地指导
内容提要
该文综述了多种强化学习安全与效率方法：利用专家演示约束智能体行为以确保安全探索；通过群体引导、引导网络和离线学习提升稀疏奖励下的表现；引入人类在环、守护者干预及约束优化，兼顾探索与安全，并在离散、连续及机器人任务中验证有效性。
延伸解读
专家演示：安全探索的基石
文章多次强调利用专家演示来约束智能体行为，确保安全探索。例如，2018年的框架依赖专家策略演示，在奖励函数难以指定时优化智能体行为；2021年的守护者方法也通过演示正确行为来干预危险。这些方法共同表明，专家数据不仅能加速学习，还能作为安全护栏，避免智能体进入高风险状态。
稀疏奖励下的群体引导与离线学习
针对稀疏奖励环境，文章介绍了群体引导的并行学习（2020年）和引导离线强化学习（GORL，2023年）。前者通过共享经验回放和软融合损失提升最佳期望累计回报；后者利用引导网络和少量专家演示自适应平衡策略改进与约束。这些方法在稀疏奖励下显著提升了样本效率和性能。
人类在环与守护者干预：平衡探索与安全
文章探讨了人类在环（2017年）和守护者干预（2021年）两种模式。前者将人类教师的有益特性融入强化学习，后者在危险时干预并演示正确行为，同时使用约束优化防止欺骗专家。这些方法在保证足够探索性的同时，提高了训练和测试时的安全性，并保持了样本效率。
多智能体与分布式学习的进展
文章还涉及多智能体强化学习的进展，如基于共情策略的分布式学习（2017年）和可证明收敛的多智能体PPO（2023年）。前者将单智能体问题分配给多个学习者，后者通过引入悲观主义评估策略。这些工作展示了强化学习在合作任务中的扩展性和理论保证。
Q&A
如何利用专家演示来确保强化学习智能体的安全探索？
文章提出一种框架，依赖专家策略的演示，在奖励函数难以指定时确保智能体安全行为。通过优化智能体在现有知识一致的奖励空间，并采用精确椭球方法或“跟随扰动领导者”算法，使智能体在模仿专家行为的同时安全避免具有潜在负面影响的状态。
在稀疏奖励环境下，如何通过群体引导提升强化学习的表现？
文章提出一种基于群体引导的并行学习方法，在共享经验回放缓冲区中搜索良好策略，结合最佳策略信息，软融合构建损失函数，以提升最佳期望累计回报。TD3算法是其中一种工作算法。
离线强化学习中的分布转移问题如何解决？
文章提出Guided Offline RL（GORL）方法，使用引导网络和少数专家演示样本，自适应确定每个样本的策略改进和策略约束的相对重要性。该方法可轻松安装于大多数离线强化学习算法上，并实现统计上显著的性能提升。
如何通过守护者干预和约束优化来保障强化学习过程的安全？
文章提出一种基于专家支持的强化学习模式，引入守护者保障学习过程安全，在保证足够探索性的同时，在危险时进行干预并演示正确行为以避免事故。使用约束优化技术避免故意表现出危险行为欺骗专家，并使用离线强化学习技术从专家生成的部分演示中学习。
Human-in-the-Loop强化学习教学方案有哪些具体方法？
文章探讨了一种agent-agnostic模式的Human-in-the-Loop强化学习教学方案，将人类教师的有益特性融入强化学习，并试验了在简单领域中应用action pruning、reward shaping和training in simulation等已有方法，将其表现为该模式的特例。
约束无奖励强化学习如何帮助学生机器人更快解决目标任务？
文章提出一种约束无奖励强化学习方法，通过在受控环境中训练引导智能体以安全探索，最终实现有效的安全传输学习，帮助学生机器人更快地解决目标任务。
