熟能生巧:在CoRL大会上,NVIDIA及其合作伙伴揭示机器人如何在仿真中演练精细操作

熟能生巧:在CoRL大会上,NVIDIA及其合作伙伴揭示机器人如何在仿真中演练精细操作

💡 原文英文,约1800词,阅读约需7分钟。
📝

内容提要

在CoRL大会上,NVIDIA发布GR00T 2世界动作模型、Isaac Lab 3.0仿真框架及新开放基准,推动机器人精细操作训练。GR00T 2支持跨机器人技能迁移,单次演示平均成功率达71%;Isaac Lab 3.0集成Newton物理引擎,支持柔性物体仿真,训练吞吐量提升至2.5倍。AlphaNIST以单一策略完成20项精密装配任务,成功率超98%。新基准DexBench和VABAR用于评估工业场景下的灵巧性与适应性。

🔎

延伸解读

从运动到操作:仿真训练的重心转移

文章指出,仿真长期用于训练机器人行走、滚动和跳跃,如今正转向需要更精细触觉的任务,如对齐齿轮、连接线缆和组装小零件。这一转变在CoRL大会上成为焦点,同时伴随“代理式机器人”范式的兴起——将前沿代理集成到物理机器人系统中,生成可解释的代码。这意味着仿真不再只是运动控制的试验场,而是精细操作技能训练的核心基础设施。

GR00T 2的数据效率与技能迁移

GR00T 2基于NVIDIA Cosmos构建,训练数据包括10万小时的开源人类自我中心数据。其关键能力在于:无需任务特定演示即可完成50项评估任务中的40项;能从人类演示中学习并在不同机器人身体间迁移技能;仅需每任务一次演示即可达到71%平均成功率,五次演示则提升至95%。这些数据表明,该模型在少样本泛化和跨本体迁移上具有实际可用性,但成功率仍随演示次数显著变化,说明数据质量与数量仍是关键变量。

Isaac Lab 3.0与Newton:物理精度与吞吐量的权衡

Isaac Lab 3.0集成Newton物理引擎,支持柔性物体(如线缆、布料)和复杂关节系统(如多指手)的仿真。在基于视觉的灵巧操作基准中,Isaac Lab 3.0配合Newton实现了最高2.5倍于Isaac Lab 2.3配合PhysX的训练吞吐量。文章同时提到,开发者可切换PhysX与Newton求解器,并选择渲染器。这表明平台在提供更高吞吐量的同时,保留了不同物理求解器的选择空间,但文章未说明精度与吞吐量之间的具体取舍关系。

AlphaNIST与SGS:单一策略的精密装配效率

AlphaNIST在Isaac Lab中构建,用单一策略学习NIST装配任务板上的全部20项任务,仅使用“是/否”成功信号操作毫米级零件。其训练成功率达98%以上,而单独每任务策略为81%,且GPU时间减少约39倍。背后的Success-Guided Sampling(SGS)方法将训练集中在成功率约50%的任务上,使训练可扩展至超过百万个并行环境。这一结果展示了单一策略在多任务精密装配中的效率优势,但文章未披露任务间的具体差异和失败模式。

❓

Q&A

NVIDIA在CoRL大会上发布了哪些新的机器人技术?

NVIDIA发布了GR00T 2世界动作模型、Isaac Lab 3.0仿真框架,以及新的开放基准DexBench和VABAR,还有代理工作流等开放机器人技术。

GR00T 2模型有什么特点?

GR00T 2是基于NVIDIA Cosmos构建的开放前沿世界动作模型,使用包括10万小时人类第一人称数据在内的多样化机器人及人类数据训练。其特点包括:开箱即用性能(无需任务特定演示即可完成50项评估任务中的40项)、技能迁移(从人类演示学习并跨机器人身体迁移技能)、少数据泛化(单次演示平均成功率达71%,五次演示提升至95%)、代理控制(AI代理可通过API按顺序运行技能并从错误中恢复)。

Isaac Lab 3.0有哪些新功能和改进?

Isaac Lab 3.0允许研究人员使用代理快速设置训练环境,切换NVIDIA PhysX和Newton物理求解器,选择渲染器进行基于感知的训练,并应用新的强化学习后训练库。与Newton的集成使其能够模拟可变形物体(如电缆和布料)以及复杂关节系统。在基于视觉的灵巧操作基准中,Isaac Lab 3.0与Newton结合实现了高达2.5倍的训练吞吐量提升(相比Isaac Lab 2.3与PhysX)。

AlphaNIST在精密装配任务上的表现如何?

AlphaNIST在NIST装配任务板上使用单一策略学习全部20项任务,仅使用是/否成功信号操作毫米级零件。它实现了超过98%的训练成功率,而单独每任务策略为81%,且使用的GPU时间减少约39倍。

DexBench和VABAR这两个新基准是做什么的?

DexBench和VABAR是两个新的开放基准,旨在使用Isaac Lab-Arena和Newton评估工业任务中的机器人灵巧性和适应性。DexBench由RLWRLD与NVIDIA合作开发,包含零售、物流、制造和酒店四个场景的15项任务,测试对象、空间和物理变化的泛化能力。VABAR由UC Berkeley和NVIDIA开发,评估六项工业任务,每项任务具有标准化变化、难度等级和成功指标。

代理机器人(Agentic Robotics)如何帮助机器人完成多步骤任务?

代理机器人通过AI代理将单个技能连接成机器人程序。例如,UC Berkeley的Graph-as-Policy(GaP)框架使用代理连接技能,并在NVIDIA Isaac开放仿真技术中测试程序,根据失败进行改进。这有助于研究人员以更少的数据扩展开发,同时保持程序的可解释性,便于工程师在部署前审查和验证。

🏷️

标签

➡️

继续阅读