本文介绍了Ψ0模型,该模型结合大规模人类视频数据与真实机器人数据,训练出一种用于类人机器人灵巧运动的视觉-语言动作模型,能够有效提取运动先验,实现复杂的全身控制。
OmniRetarget是一个开源数据生成引擎,旨在提升人形机器人在复杂场景中的全身控制能力。通过交互网格技术,OmniRetarget有效保留人类示范中的关键交互特性,生成高质量的运动学参考,解决了传统方法中的数据瓶颈和运动伪影问题,从而加速强化学习训练。
TWIST2是一种新型人形机器人遥操作与数据采集系统,具备全身控制能力,便携且可扩展。它结合VR设备和低成本动作追踪器,实现高效的全身动作流传输,支持复杂任务如折叠毛巾和搬运物品。系统通过强化学习训练控制器,能够在长时序内执行精细操作,并高效采集人类操作数据,推动类人机器人在复杂环境中的应用。
斯坦福大学的Moblie aloha团队开源了人形机器人HumanPlus,通过学习人类数据实现全身控制和高自由度控制。该机器人可以完成穿鞋、行走、折叠运动衫等任务。
本研究开发了一种用于模仿双手操作和需要全身控制的移动操作任务的系统,并提出了Mobile ALOHA作为数据收集的低成本全身远程操作系统。通过使用Mobile ALOHA收集的数据,进行了监督行为克隆,并发现合作训练可以提高移动操作任务的性能。每个任务使用50个示范,合作训练可以将成功率提高到90%,使Mobile ALOHA能够自主完成复杂的移动操作任务。
完成下面两步后,将自动完成登录并继续当前操作。