英伟达机器人开源撞上Fable 5.2发布!Jim Fan:不是寒冬是夏天

英伟达机器人开源撞上Fable 5.2发布!Jim Fan:不是寒冬是夏天

💡 原文中文,约3200字,阅读约需8分钟。
📝

内容提要

英伟达在CoRL大会发布新一代机器人基础模型GR00T 2,可完成裁标签、装显卡、做早餐等精细与移动任务。其核心X-Adapt跨本体适配技术能将人类示范、手持夹爪、外骨骼数据迁移到不同机器人,减少重复采集。模型预训练融合约40万小时人类视频、1万小时UMI演示和2.35万小时机器人数据,少量示范加LoRA微调即可显著提升成功率。英伟达还开放模型、数据及采集、仿真、部署工具链。

🔎

延伸解读

跨本体迁移:减少重复示范,但并非零数据

GR00T 2的X-Adapt技术展示了从人类动捕、手持UMI夹爪、外骨骼到不同机器人的技能迁移路径,例如人类示范后Dexter成功率65%,UMI到YAM组装任务成功率60%。这减少了针对每个机器人重新采集任务示范的需求,但文章明确指出,目标机器人仍需提供与任务无关的数据来熟悉自身身体结构和控制空间。因此,跨本体迁移是降低数据采集成本,而非完全摆脱机器人数据。

少量示范加LoRA微调:快速适配新任务

在Dexter-50评测中,GR00T 2零样本成功率为40%,每任务一次示范后升至71%,五次示范后达95%,且五次示范合计不足三分钟。随后只需在单张RTX5090上进行约30分钟LoRA微调,即可得到适配任务的模型。这表明对于新任务,开发者可以用极少量机器人示范和较低算力快速提升执行精度,但前提是模型已经通过大规模预训练具备基础能力。

数据金字塔:人类视频规模远超机器人数据

GR00T 2预训练混合了约40万小时人类第一视角视频、1万小时UMI演示和2.35万小时机器人遥操作数据。人类视频规模远大于另外两类,团队实验显示,随着人类视频数据增加,真实机器人上的平均任务进度从50%提高到70%。这说明大规模人类活动视频不仅能丰富视觉知识,还能转化为实际执行进展,但UMI和机器人数据仍用于补充操作轨迹和身体控制信息。

开放工具链:从模型到部署的完整体系

英伟达不仅开源GR00T 2模型和10万小时人类数据,还提供采集端UMI、DexUMI,数据端Human-1M与Flora,仿真端SimFoundry,以及执行端ASPIRE、Turbo和SONIC等组件。开发者可以沿着配套工具链采集数据、适配任务、仿真验证并部署到真实机器人。这使发布的价值超出单一模型,形成一套开发体系,但文章也提到Claude Fable 5.2在RoboDojo仿真测试中得分64.9%,显示大模型在机器人任务上同样具有竞争力。

❓

Q&A

英伟达GR00T 2机器人模型是什么?主要能做什么?

GR00T 2是英伟达在CoRL大会上发布的新一代机器人基础模型,属于世界动作模型,能同时预测未来画面与机器人动作。在官方demo中,它可以完成裁标签、安装显卡、擦火柴、切香蕉做早餐、擦咖啡、收桌子、卖爆米花等任务,覆盖从双手精细操作到全身移动的多种能力。

GR00T 2的X-Adapt跨本体适配技术是什么?有什么作用?

X-Adapt是GR00T 2的核心技术,旨在打破机器人本体形态限制,将人类示范、手持夹爪、外骨骼数据迁移到不同机器人上,减少针对每种机器人重复采集示范数据的需求。具体包括三条路径:从人类动捕迁移到机器人(如Dexter双手)、从手持UMI夹爪迁移到机械臂(如YAM)、从可穿戴外骨骼迁移到机器人灵巧手。

GR00T 2的预训练数据包含哪些?规模有多大?

GR00T 2的预训练混合了三类数据:约40.3万小时人类第一视角视频、约1.02万小时手持UMI演示(覆盖2897项任务)、约2.35万小时机器人遥操作数据。其中人类视频规模远大于其他两类,帮助机器人从真实人类活动中学习操作与场景变化。

GR00T 2如何通过少量示范快速适配新任务?

在Dexter-50评测中,GR00T 2零样本平均成功率为40%;每项任务提供一次示范后成功率提高到71%,提供五次示范后达到95%。这五次示范合计不足三分钟,随后只需在单张RTX5090上进行约30分钟的LoRA微调,就能得到适配对应任务的模型。

英伟达围绕GR00T 2开源了哪些工具链?

英伟达开源了从数据采集、处理、训练、仿真验证到实际部署的完整工具链,包括:采集端的UMI、DexUMI等设备;数据端的Human-1M(首批10万小时人类视频已公开)和Flora;仿真端的SimFoundry;执行端的ASPIRE、Turbo、SONIC等组件。此外还开放了WAM API,供上层推理模型调用GR00T 2执行物理技能。

Jim Fan如何评价当前机器人领域的发展?

在CoRL现场演讲中,Jim Fan表示:“Astra没有打碎我们的梦想,它打破的是我们的围墙。”并称“这不是寒冬,这是机器人的夏天。”他认为机器人领域正迎来积极的发展阶段。

🏷️

标签

➡️

继续阅读