李飞飞的世界模型,终于开始训练机器人了

李飞飞的世界模型,终于开始训练机器人了

💡 原文中文,约4200字,阅读约需10分钟。
📝

内容提要

李飞飞团队World Labs发布机器人训练引擎R2S2R,通过Real-to-Sim将真实任务重建为仿真环境,再经Sim-to-Real训练策略并部署回现实,打通仿真到真实闭环。该引擎无需真实数据即可让机器人连续自主运行1小时,并支持多平台任务,旨在规模化获取经验、评估策略,推动机器人商业化落地。

🔎

延伸解读

仿真对齐的关键:不只是“看起来像”

R2S2R强调仿真与现实的“行为对齐”,而非仅视觉相似。团队让机器人在两边执行相同动作,比较观察、物体反应和最终结果,甚至复现“险些失败”的细节。这种对齐使仿真中的成功与失败模式能迁移到真实世界,为策略筛选提供可靠依据,避免仿真结果失真。

仿真训练的商业化价值

R2S2R旨在解决机器人数据获取的瓶颈:真实数据采集成本高、速度慢且难以覆盖边缘情况。通过仿真,可主动制造危险或罕见场景,并获取接触力等难以采集的信号。这降低了训练成本,加速策略迭代,为机器人从实验室走向仓库、实验室等半结构化场景的商业化落地铺路。

基础设施定位:不造机器人,做通用训练场

World Labs收购SceniX后,明确不亲自制造机器人,而是构建与机器人形态和模型架构解耦的训练基础设施。无论客户使用何种机器人或策略模型,都能接入同一仿真环境。这种平台化思路旨在将仿真从一次性实验转化为可复用的训练资产,推动行业整体效率提升。

Q&A

World Labs发布的R2S2R引擎是什么?

R2S2R是World Labs发布的机器人策略训练与评估引擎,全称Real-to-Sim-to-Real,包含Real-to-Sim和Sim-to-Real两部分,旨在打通从仿真训练到真实运行的闭环。

R2S2R如何实现从仿真到现实的闭环?

R2S2R通过Real-to-Sim将真实任务重建为仿真环境,再通过Sim-to-Real在仿真中训练和评估策略,最后部署回现实,并利用现实中的新结果修正世界模型,形成闭环。

R2S2R在机器人训练中有什么优势?

R2S2R的优势包括:无需真实数据即可训练策略,能连续自主运行1小时;可规模化生成经验,主动制造现实中昂贵、危险或难以重复的情况;支持多平台任务,降低训练成本,提高评估效率。

R2S2R如何解决仿真与现实之间的差距?

R2S2R通过让机器人在仿真和现实中执行相同动作,比较视觉观测、物体反应和最终结果来验证对齐,并尽可能复现物理和动力学特性,从而缩小差距。

R2S2R在哪些机器人平台上进行了测试?

R2S2R在ALOHA、RB-Y1、YAM、Flexiv和xArm等机器人平台上进行了测试,完成了装箱、绕线、试管转移和杂乱环境中的单件抓取等任务。

World Labs收购SceniX对R2S2R有什么影响?

收购SceniX为World Labs带来了机器人仿真、训练与评估的专业技术,SceniX的加入使R2S2R得以实现,并推动了World Labs在机器人领域的布局。

R2S2R在机器人策略评估中有什么作用?

R2S2R可以作为高通量评估层,在数千种受控条件下主动寻找失败,筛选checkpoint,发现性能退化,并决定下一轮应补充的数据,提高评估效率。

🏷️

标签

➡️

继续阅读