扩散遇到 DAgger：增强视觉手眼协调模仿学习
内容提要
本文综述多种用于交互式模仿学习与自动驾驶的DAgger改进算法：HG-DAgger学习不确定性安全阈值；概率DAgger用dropout估计专家行为概率；DADAgger仅查询分布不一致状态；EnsembleDAgger以神经网络集成近似高斯过程；SafeDAgger减少查询次数；A2D共同训练专家与智能体；BRIDGER采用信息源策略；DiffAIL引入扩散模型；另有利用干预信号作奖励及DART注入噪声的方法。
延伸解读
DAgger 变体的核心改进方向
文章综述的多种 DAgger 改进算法，主要围绕三个方向：一是通过不确定性估计（如 dropout、神经网络集成）来识别需要专家干预的状态，例如概率 DAgger、EnsembleDAgger；二是减少对专家的查询次数，如 SafeDAgger、DADAgger 只针对分布不一致的状态查询；三是改变训练目标或数据生成方式，如 A2D 共同训练专家与智能体、DART 注入噪声。这些改进共同提升了交互式模仿学习的效率和安全性。
不确定性估计在安全模仿学习中的作用
HG-DAgger 学习基于模型不确定性的安全阈值，概率 DAgger 用 dropout 估计专家行为概率，EnsembleDAgger 用神经网络集成近似高斯过程并以方差衡量信心。这些方法都试图量化智能体在状态空间中的不确定性，从而在不确定区域请求专家干预或调整策略，以平衡探索与利用，降低失败风险。这反映了将不确定性建模引入模仿学习是提升安全性的重要途径。
扩散模型与对抗模仿学习的结合
BRIDGER 采用信息源策略，DiffAIL 将扩散模型引入对抗性模仿学习框架，以改进传统二元分类器的准确性，从而更好地捕捉专家示范并提高泛化性能。实验表明 DiffAIL 在两个基准任务上达到最先进性能，并显著超过专家演示。这表明扩散模型在模仿学习领域具有潜力，能够提升策略的表达能力和泛化性。
利用干预信号与噪声注入的改进思路
有研究将用户干预信号本身作为奖励函数，通过强化学习改进交互式模仿学习，克服潜在次优人类专家的限制。DART 则在演示时向导师策略注入噪声，强制演示如何从错误中恢复。这两种方法都从数据生成或奖励设计角度出发，不依赖额外的专家查询，为提升模仿学习的鲁棒性提供了新思路。
Q&A
HG-DAgger 算法相比传统 DAgger 有什么改进？
HG-DAgger 不仅训练初学者策略，还学习基于模型不确定性的风险度量的安全阈值，以预测状态空间中不同区域的完全训练初学者的性能。在模拟和实际自动驾驶任务中，它比 DAgger 和行为克隆表现更好。
概率 DAgger 如何平衡探索和利用？
概率 DAgger 使用 dropout 训练新手并提供其置信度，通过新手行为分布估计与专家行为相关的安全概率度量，从而平衡探索和利用。
DADAgger 如何选择向专家查询的状态？
DADAgger 只针对原数据集中分布不一致的状态-行动对询问专家，并通过 dropout 模拟来测量每个状态的模型预测的行动方差，从而高效构建良好平衡的训练数据集。
EnsembleDAgger 如何提高机器人的安全性能？
EnsembleDAgger 使用神经网络集合来近似高斯过程，并以方差作为信心的衡量标准，在最大化学习效果的同时限制失败的可能性，从而提高机器人的安全性能。
SafeDAgger 在自动驾驶学习中的主要优势是什么？
SafeDAgger 是一种基于 DAgger 算法的自动驾驶智能学习方法，能有效减少对参考策略的查询次数，加快收敛速度。
A2D 算法如何共同训练专家和智能体？
A2D 通过使用奖励最大化目标，共同训练专家和智能体，以帮助智能体模仿一个安全的专家策略，从而优于模仿固定专家所学习的策略。
BRIDGER 方法在模仿学习中的表现如何？
BRIDGER 通过使用信息源策略，在模仿学习任务中优于现有的扩散策略，并在设计方面进行了进一步分析。
DiffAIL 如何改进对抗性模仿学习？
DiffAIL 将扩散模型引入对抗性模仿学习框架，以改进传统二元分类器的准确性，从而更好地捕捉专家示范并提高泛化性能。实验证明，该方法在两个基准任务上达到了最先进的性能，并显著超过了专家演示。
如何利用用户干预信号改进交互式模仿学习？
通过使用强化学习和用户干预信号本身作为奖励函数，提出了一种新方法来改进交互式模仿学习，克服了潜在次优人类专家的限制，并在挑战性的控制问题中具有较好的性能。
DART 算法如何帮助智能体从错误中恢复？
DART 是一种注入噪音的离策略方法，在演示时将噪音注入到导师的策略中，强制演示如何从错误中恢复。通过仿真和实验比较，证明了该方法的有效性。
