Skild AI借助NVIDIA物理AI,让机器人仅凭一段视频即可学会新任务

Skild AI借助NVIDIA物理AI,让机器人仅凭一段视频即可学会新任务

💡 原文英文,约1000词,阅读约需4分钟。
📝

内容提要

Skild AI发布S1机器人基础模型,结合NVIDIA物理AI技术,仅需一段视频演示即可让机器人学会新任务,无需重新训练。该模型能完成长达10分钟的多步骤任务,每步成功率约66%,远超同类系统的9%。Skild已与60多家企业合作,并与富士康部署双臂机器人,用于英伟达Blackwell系统的高精度装配。

🔎

延伸解读

从视频学习:机器人编程范式的转变

传统工业机器人每换一个任务就需要重新编程、采集数据并验证,而Skild AI的S1模型通过上下文学习,仅凭一段视频演示就能让机器人执行新任务,无需更新权重或进行任务特定的后训练。这打破了固定任务的限制,使机器人能适应多变的产线需求。文章提到,在植物盆栽测试中,从录制演示到自主执行仅用11分钟,展示了快速部署的潜力。

性能提升与数据效率

S1在全新多步骤任务中每步成功率约66%,而同类AI系统仅9%,提升超过七倍。更值得注意的是,一段短视频演示的效果相当于约380个手把手训练样本,而人工收集这些样本需50至100小时。这意味着企业可以大幅减少数据采集和训练成本,加快新任务的导入速度,尤其适合产品频繁更换的制造与物流场景。

技术栈协同:从仿真到部署

Skild AI借助NVIDIA的Isaac Lab、Cosmos、Omniverse等工具,在仿真中生成多样化数据、训练模型并验证行为,再通过TensorRT优化推理,实现快速响应。这种从数据生成、训练到部署的闭环,有助于缩小仿真与现实的差距。文章还提到双方正联合开发GPU加速的仿真求解器,未来将集成到Newton中,供开发者使用。

商业化落地与风险提示

Skild AI在首次商业部署后10个月内达到1亿美元年收入运行率,并拥有60多家部署合作伙伴,覆盖制造、物流、检查等多个领域。与富士康合作部署的双臂机器人已用于NVIDIA Blackwell系统的高精度装配。不过,文章未披露具体定价、部署成本或长期可靠性数据,且66%的每步成功率意味着多步骤任务整体成功率可能较低,实际大规模应用仍需观察。

Q&A

Skild AI的S1机器人基础模型是什么?它有什么特别之处?

Skild AI发布的S1机器人基础模型,结合NVIDIA物理AI技术,能够仅凭一段视频演示就学会新任务,无需重新训练或更新权重。它采用上下文学习技术,可执行长达10分钟的多步骤任务,每步成功率约66%,远超同类系统的9%。

S1模型如何从单个视频中学习新任务?

操作员录制一段演示任务的视频,将其作为提示输入模型。S1会解读演示的意图、物体和顺序,然后映射为机器人的动作,无需重新训练,即使任务不在预训练数据集中也能执行。它还能适应物体移动、从错误中恢复,并组合未明确编程的技能序列。

S1模型在性能上相比同类系统有哪些优势?

在Skild的测试中,S1在新多步骤任务上每步成功率约为66%,而类似AI系统仅为9%,提升超过7倍。此外,一个短视频示例的效果相当于约380个手动训练示例,而人工收集这些示例可能需要50-100小时。

Skild AI与NVIDIA在哪些方面进行了合作?

双方合作涵盖合成数据生成、模型训练、仿真和真实世界物理AI部署。NVIDIA提供加速计算、Cosmos世界基础模型、Omniverse库、Isaac Sim和Isaac Lab仿真框架、Newton物理引擎、Nsight性能分析工具和TensorRT推理优化SDK,帮助Skild训练和部署机器人。

Skild AI的商业化进展如何?有哪些实际部署案例?

Skild AI在首次商业部署后10个月内达到了1亿美元的年收入运行率,并建立了60多个部署合作伙伴关系,涵盖制造、物流、检查、安全、食品准备等领域。与富士康合作,在双臂机器人上部署Skild Brain,用于NVIDIA Blackwell系统的高精度装配,如安装母线、紧固16个螺丝并适应干扰。

S1模型能执行哪些类型的任务?请举例说明。

S1可以执行持续长达10分钟的不熟悉任务,包括植物盆栽、制作煎饼、手冲咖啡和套件组装等。这些任务可能涉及数十个操作步骤,需要机器人组合之前未执行过的技能序列。例如在植物盆栽测试中,从录制演示到硬件自主执行仅用了11分钟。

🏷️

标签

➡️

继续阅读