Whole-Body UMI——通过实时运动生成将UMI操作技能迁移到人形全身操作：不用脚踝追踪器，直接两个umi开干
内容提要
论文提出WB-UMI，一种任务无关、实时的全身运动生成器，通过共享末端执行器接口将全身协同学习与任务语义学习解耦。扩散策略从UMI示范中学习末端轨迹，WB-UMI独立从动作捕捉数据学习，无需身体追踪器或配对全身示范，即可让人形机器人完成全身操作，并在四项任务上实现实时闭环执行。
延伸解读
解耦设计：任务语义与全身协调分离
WB-UMI的核心创新在于通过共享末端执行器接口，将任务语义学习与全身协调学习解耦。扩散策略从原生UMI示范中学习末端轨迹，而WB-UMI独立从动作捕捉数据学习全身运动先验。这种设计避免了为每个任务采集配对的全身示范数据，显著提升了数据采集的可扩展性，同时保留了UMI无需机器人的便捷性。
无需身体追踪器：简化数据采集流程
传统方法需要在UMI上增加身体追踪器，并依赖逆运动学获得全身运动，这要求用户佩戴和标定多个追踪器，削弱了UMI的便捷性。WB-UMI仅需末端执行器轨迹，无需身体追踪器或配对的图像-全身演示，降低了设备复杂性和采集成本，使数据采集更加高效和易于扩展。
实时闭环执行：从轨迹到全身动作
WB-UMI以自回归方式生成短时运动基元，结合稀疏前视上下文和测量状态反馈，实现实时闭环控制。扩散策略预测末端轨迹，WB-UMI生成显式全身参考，预训练的全身控制器跟踪执行。在四项任务上验证了实时闭环执行能力，展示了从末端轨迹到全身操作的可行迁移。
Q&A
WB-UMI是什么？它主要解决什么问题？
WB-UMI是一种任务无关、实时的全身运动生成器，通过共享末端执行器接口将全身协同学习与任务语义学习解耦。它主要解决仅使用UMI末端执行器轨迹无法确定人形机器人全身协同的问题，从而无需身体追踪器或配对全身示范即可实现全身操作。
WB-UMI如何在不使用身体追踪器的情况下实现全身操作？
WB-UMI通过三层系统结构实现：首先，在原生UMI示范上训练的扩散策略预测末端执行器轨迹；然后，独立基于动作捕捉数据训练的WB-UMI将这些轨迹与全身历史状态结合，生成显式全身运动学参考；最后，预训练的全身控制器跟踪这些参考执行动作。整个过程无需身体追踪器或配对全身示范。
WB-UMI与传统的UMI加身体追踪器方法相比有什么优势？
传统方法需要在UMI上增加身体追踪器并结合逆运动学，存在两大局限：1）额外设备：用户需佩戴并标定多个追踪器，削弱了UMI的便捷性；2）可扩展性有限：仍需针对具体任务的全身示范。WB-UMI则无需额外设备，且从动作捕捉数据中学习可复用的全身运动先验，将全身协调学习与任务特定示范解耦，提高了可扩展性。
WB-UMI的训练数据来自哪里？需要配对全身示范吗？
WB-UMI独立地从重定向的动作捕捉数据（如G1动作捕捉数据）中学习，不需要配对的图像-全身示范。扩散策略则从原生UMI示范中学习末端执行器轨迹。两者通过共享的末端执行器接口连接，无需任务特定的全身示范。
WB-UMI在哪些任务上得到了验证？效果如何？
WB-UMI在四项任务上得到了验证，实现了实时的闭环执行。具体任务未在文中详细列出，但结果表明该方法能够让人形机器人完成全身操作。
WB-UMI如何实现实时运动生成？
WB-UMI以自回归方式将长时域运动生成为一系列短且固定长度的运动基元序列，每个基元包含未来F帧并以H帧历史为条件。通过结合稀疏的前瞻上下文和测量状态反馈，它能在末端执行器目标不断变化时实现连续的实时更新。
