CLONE——面向长时任务的闭环VR全身遥操:其MoE架构可实现“蹲着走”,且LiDAR里程计解决位置偏差,更增强AMASS数据集

💡 原文中文,约5400字,阅读约需13分钟。
📝

内容提要

长沙具身团队正在扩招,分为三个项目组,专注于电源、USB插拔及人形机器人技术。CLONE系统通过闭环遥操作解决了人形机器人长时任务中的位置反馈问题,提升了人机协作能力。

🎯

关键要点

  • 长沙具身团队正在扩招,分为三个项目组,专注于电源、USB插拔及人形机器人技术。

  • CLONE系统通过闭环遥操作解决了人形机器人长时任务中的位置反馈问题。

  • CLONE系统的提出背景包括人形机器人全身控制领域的进展和现有方法的局限性。

  • 现有方法在长时间精确远程操控方面存在困难,缺乏整体控制能力。

  • CLONE系统采用专家混合(MoE)框架,实现多样化运动技能的学习和协调。

  • CLONE系统融合了LiDAR里程计与Apple Vision Pro跟踪技术,实现闭环全局位姿反馈。

  • CLONE系统的数据集CLONED由多个部分组成,以支持强健的全身远程操作。

  • CLONE系统的策略学习采用教师-学生训练策略,确保操作的有效性。

  • 闭环误差校正机制持续监测并补偿远程操作员与人形机器人之间的位置偏差。

  • 通过奖励设计与领域随机化,CLONE系统能够学习生成稳健的下肢行为。

延伸问答

CLONE系统的主要创新点是什么?

CLONE系统通过专家混合(MoE)框架、LiDAR里程计与Apple Vision Pro跟踪技术的融合,实现了闭环全局位姿反馈,提升了人形机器人的远程操作能力。

CLONE系统如何解决人形机器人长时任务中的位置反馈问题?

CLONE系统采用闭环误差校正机制,持续监测并补偿远程操作员与人形机器人之间的位置偏差,确保全局位置估计的准确性。

CLONE系统的数据集是如何构建的?

CLONE系统的数据集CLONED由扩充的AMASS子集、基于IMU的动作捕捉序列和程序生成的手部方向增强组成,以支持全身远程操作。

CLONE系统在远程操作中如何实现运动协调?

CLONE系统通过MoE框架,使统一策略能够学习多样化的运动技能,并协调生成下肢与上肢的协同运动。

CLONE系统的教师-学生训练策略是怎样的?

CLONE系统采用教师-学生训练策略,教师策略利用特权信息进行训练,随后将其蒸馏给学生策略,使其依赖现实世界中的观测信息进行操作。

CLONE系统的应用前景如何?

CLONE系统的闭环遥操作技术有望在复杂环境中提升人形机器人的远程操作能力,推动人形机器人在长时任务中的应用。

➡️

继续阅读