2000+真实场景搬进仿真!一个导航模型零样本“通吃”四种机器人本体

2000+真实场景搬进仿真!一个导航模型零样本“通吃”四种机器人本体

💡 原文中文,约8500字,阅读约需21分钟。
📝

内容提要

亮源新创提出Physical AI三段范式:规模化预训练、对齐与部署,并发布三项技术。LightParkour用强化学习将单个动作扩展为可泛化技能分布;LightNav-0将2000+真实场景转为仿真数据,实现跨本体零样本导航;Light REACT让机器人在损伤后依交互历史调整全身行为。三者共同构成可规模化的具身基础模型学习闭环。

🔎

延伸解读

从单点技能到可扩展学习系统

文章指出,机器人“会做”一件事与能在开放环境中稳定泛化地做成是两回事。亮源新创的三项技术分别针对技能扩展、经验泛化和部署韧性,共同指向一个核心:建立可规模化的学习机制,而非堆叠孤立技能。这提示读者,评估具身智能公司时,应关注其学习系统能否将样本扩展为技能分布、统一多专家策略,并跨环境与本体泛化。

数据Scaling的独特路径

LightNav-0的实验发现,扩大环境覆盖度比单纯增加相同环境中的轨迹数量更能提升泛化能力。这意味着Physical AI的数据Scaling可能与大语言模型不同,更强调环境多样性而非单纯数据量。同时,Real2Sim2Real数据引擎将互联网真实场景转化为仿真训练世界,为机器人提供了类似“互联网级”的数据来源,降低了真机采集成本。

对齐从语言偏好延伸到身体行为

Light REACT通过偏好强化学习,让机器人在身体条件允许时优先保持直立运动,仅在无法直立时才切换到爬行等替代方式。公开实验中直立行为比例从约42%提高到约76%。这类似于大模型对齐,但对象从语言偏好扩展到了空间、动作和身体状态。它表明,在Physical AI中,对齐不仅关乎“会什么”,更关乎“什么时候应该怎么做”。

上下文学习的不同层次

文章对比了Skild AI S1、Generalist AI GEN-1.5与Light REACT的上下文学习。前两者利用外部任务示范理解“要做什么”,而Light REACT利用机器人自身交互历史推断“身体处于什么状态,还能怎么动”。它们共享减少人工适配的思路,但处理的并非同一种上下文。这提醒读者,上下文学习在机器人领域有多种形态,需区分任务条件与身体状态推断。

❓

Q&A

亮源新创提出的Physical AI三段范式具体指什么?

亮源新创将Physical AI的发展路径概括为三个阶段:规模化预训练(Scalable Pre-Training)、规模化对齐(Scalable Alignment)和规模化部署(Scalable Deployment)。规模化预训练通过大规模数据训练建立基础能力;规模化对齐通过强化学习等方式进一步提升模型能力;规模化部署推动基础模型进入真实世界,并持续产生高质量真实世界数据,形成驱动模型持续优化的数据飞轮。三个阶段共同构成一个持续迭代的学习闭环。

LightParkour如何让机器人学会跑酷并统一多种技能?

LightParkour首先从真实人类动作中恢复一段简短的动作种子,再将动作和对应的障碍物一起放入物理仿真。仿真重新建立动作、障碍物、接触力和机器人执行器约束之间的关系。机器人成功完成当前动作后,系统提高障碍物难度,并将成功轨迹作为下一轮训练的参考。从一段针对45厘米障碍物的初始动作出发,可以逐步生成覆盖至75厘米障碍的参考轨迹。之后,LightParkour使用多专家蒸馏,把行走和三项复杂接触技能整合到一个统一策略中,技能切换也不再依赖人工规则,而是让机器人自主学习。

LightNav-0如何实现跨不同机器人本体的零样本导航?

LightNav-0通过Real2Sim2Real数据引擎,将2,000+个互联网来源的真实场景转换为可复用仿真环境,形成4,000+小时视觉、语言和动作后训练经验。同一个场景可以产生不同目标、不同路线、不同视角和不同任务,摄像机几何也可以随训练变化。模型引入Point CoT,先在图像空间预测目标点和可通行点,再生成动作token,并通过RVQ动作编码器将连续机器人轨迹压缩为3个动作token,使视觉、语言、空间位置和机器人动作进入统一训练框架。最终,同一个模型零样本迁移到人形、四足、轮式和飞行机器人等不同本体。

Light REACT如何让机器人在身体损伤后继续移动?

Light REACT(REsilient humAnoid ConTrol)的目标是在身体条件发生变化后,尽可能利用剩余的全身能力继续移动。训练阶段,系统针对不同损伤状态建立多个教师策略,覆盖执行器失效、关节锁定和膝部折叠约束三类损伤,然后通过多教师蒸馏整合到一个可部署的学生策略中。部署时,模型不会获得故障标签,只能看到本体感知、动作指令以及过去一段时间内身体如何响应,因此必须通过自己的交互历史判断身体状态变化。模型使用64帧因果上下文窗口的Transformer,并加入偏好强化学习进行对齐,使身体条件允许时优先保持直立运动,只有当直立运动无法继续时,再切换到爬行等替代方式。

亮源新创的三项技术如何共同构成一个学习闭环?

LightParkour解决技能如何实现Scaling:一段人类动作通过强化学习和课程学习扩展为技能分布,再通过多专家蒸馏进入统一策略。LightNav-0解决经验和泛化如何实现Scaling:2,000+个真实场景被转化成4,000+小时视觉、语言和动作经验,模型通过具身推理中期训练、具身监督微调和在线强化学习获得跨场景、跨任务、跨本体的零样本导航能力。Light REACT解决部署阶段的韧性问题:机器人根据历史交互推断当前动力学条件,在扰动和硬件损伤后调整行为。三者分别对应规模化预训练、规模化对齐和规模化部署,部署产生的真实世界数据又可以回流到训练体系,形成持续迭代的学习闭环。

Physical AI的Scaling与大语言模型的Scaling有什么不同?

文章指出,Physical AI的Scaling不只是模型参数量或机器人数据量,而是模型能否经历更多环境、覆盖更多任务、迁移到更多机器人本体,并在进入物理世界后继续适应训练阶段没有见过的状态。LightNav-0的实验发现,在当前实验范围内,扩大环境覆盖度比单纯增加相同环境里的轨迹数量更能稳定提升泛化能力。这意味着Physical AI的数据Scaling可能和大语言模型有所不同:机器人不仅需要更多数据,更需要在更多样化的环境中积累经验。

🏷️

标签

➡️

继续阅读