SWBT：基于相似度加权行为变换和不完全演示的机器人操作
内容提要
本文综述多种机器人模仿学习方法：基于课程学习与MoE从多样化人类演示中学习控制技能；BTIL对多智能体团队心理状态建模，实现半监督高效学习；Interaction Warping用形态扭曲从单次演示学习SE(3)操作；视觉模仿学习将任务建模为状态估计，从单次演示学习操作；SAPIEN挑战涵盖模仿学习、离线强化学习及规则方法；离线模仿学习引入鉴别器加权行为克隆；置信度评分方法从次优演示学习；干预策略学习解决精确操作难题；DWSL从离线数据学习目标条件策略；SMILE用扩散模型过滤低质演示。
延伸解读
从单次演示到多样技能：降低数据依赖的路径
文章列举的多种方法都致力于减少对大量演示数据的依赖。Interaction Warping 和视觉模仿学习均能从单次人类演示中学习操作技能，后者还将模仿学习建模为状态估计问题，通过自监督训练让机器人重放末端执行器速度来获得复杂轨迹。这些思路表明，在数据采集成本较高的场景下，利用形态先验或自监督信号可以部分替代大规模演示，但文章也指出这些方法在特定任务上验证，泛化能力仍需进一步观察。
应对不完美演示：置信度评分与扩散过滤
实际演示往往包含次优或嘈杂数据。文章提到置信度评分方法仅需对一小部分次优演示评分，即可通过 2IWIL 和 IC-GAIL 提升学习性能；SMILE 则利用扩散模型的正向和逆向过程模拟专业知识转变，过滤低于当前策略的演示。两者都试图在数据质量不理想时保持学习效果，但前者依赖少量置信度标注，后者依赖扩散步骤预测，其适用边界和额外计算开销是实际部署时需要权衡的因素。
离线学习与鉴别器加权：利用既有数据
针对离线场景，文章介绍了引入鉴别器区分专家与非专家数据，并将其输出作为行为克隆损失权重的方法，实验显示可提高回报率和训练速度。DWSL 则通过加权行动估计最短路径距离，从离线数据学习目标条件策略，并在高维图像领域超过先前方法。这些工作说明离线数据可以经过重加权或距离监督被更有效地利用，但鉴别器或距离估计的准确性会直接影响策略质量，文章未讨论分布外泛化问题。
多智能体与精确操作：扩展模仿学习的边界
BTIL 将模仿学习扩展到多智能体团队任务，通过对成员心理状态显式建模和贝叶斯推断，实现半监督高效学习，并能处理心理状态变化导致的不完美合作。干预策略学习则针对机器人操作中必须精确排序的难点，通过数据采集系统收集新数据遍历关键步骤，在线穿线和制造咖啡任务中优于多种基线。这两类方法分别展示了模仿学习在团队协作和精细操作中的潜力，但均依赖特定任务设计，跨场景迁移仍需验证。
Q&A
SWBT方法是如何从多样化人类演示中学习机器人控制技能的？
SWBT结合课程学习和混合专家（MoE）的模仿学习方法，用于从人类多样化的演示中教授机器人控制技能，并在复杂机器人控制任务中显著优于当前最先进的方法。
BTIL算法在多智能体团队任务中有什么特点？
BTIL（Bayesian Team Imitation Learner）算法对团队成员的心理状态进行显式建模和推断，实现分散式团队策略学习，并能从小型数据集中半监督地高效学习样本和标记，即使心理状态变化导致合作不完美也能成功学习团队策略。
Interaction Warping如何从单次演示中学习机器人操作？
Interaction Warping利用形态扭曲技术从单个演示中学习SE(3)机器人操作，并在三个目标重新排列任务中验证了其性能，证明在野外环境中具有预测对象网格和机器人抓握的能力。
视觉模仿学习方法如何实现从单个人类演示中学习机器人操作任务？
该方法将模仿学习建模为状态估计问题，以目标交互开始时末端执行器的姿态作为状态，通过自监督学习训练末端执行器摄像头围绕对象自动移动。测试时，机器人通过线性路径移动到预测状态，然后重放演示的末端执行器速度，从而获得复杂交互轨迹，无需明确学习策略。在8个常见任务上，该方法能从单个人类演示中学习多样技能，并产生稳定且可解释的控制器。
离线模仿学习中如何利用鉴别器改进行为克隆？
该算法引入一个鉴别器来区分专家和非专家数据，并将其输出作为行为克隆的损失权重，实验结果表明可以提高回报率和训练速度。
SMILE方法如何过滤低质量演示并学习专家策略？
SMILE（自我激励仿真学习）利用扩散模型的正向和逆向过程模拟演示专业知识从低到高和从高到低的转变，并利用噪声信息预测当前策略和演示者之间的扩散步骤，从而自我激励地过滤掉低于当前策略的演示。在MuJoCo任务上的评估表明，该方法能在嘈杂演示环境中学习到专家策略。
