内容提要
优必选Thinker-WM在WorldOlympiad、EWMBench、WorldArena三大具身世界模型评测中均获第一。其核心是在表征层统一多模态,将RGB视频、深度与机器人动作编码至共享空间,由统一动态Transformer联合建模,支持六种能力模式。深度作为原生模态使操作成功率提升15个百分点。Motion Probe实验证明视觉表征已编码动作信息,标志具身世界模型从拼接式走向统一生成新范式。
延伸解读
统一表征:从拼接式到原生多模态
文章指出,过往世界模型多采用“拼接式”方案,视频生成、策略网络、几何预测各自独立,再通过接口组合,导致物理上紧密耦合的信号被拆分,丢失因果关联。Thinker-WM 的解法是在表征层统一多模态,将 RGB 视频、深度和机器人动作编码至共享潜在空间,由统一动态 Transformer 联合建模。这种设计让多模态交互发生在 Transformer 内部,而非输入或输出层的浅层拼接,为具身世界模型提供了新范式。
深度作为原生模态:操作成功率提升15个百分点
文章强调,Thinker-WM 将深度作为原生生成模态,与视频共享一致的潜在拓扑和时空组织,深度监督直接塑造共享表征,使物理空间结构成为世界模型的“母语”。在 RoboTwin 单任务消融实验中,引入深度模态后,操作成功率较无深度基线提升了 15 个百分点。这表明空间几何信息不仅有助于场景理解,也能切实改善动作生成与任务执行,对机器人落地应用具有实际价值。
Motion Probe 实验:验证视觉表征已编码动作信息
为验证模型是否真正学到模态间耦合关联,团队设计了 Motion Probe 实验:在冻结的 UDT 视觉表征上接一个极小的运动预测头,仅训练该头,看能否从纯视觉表征中恢复末端执行器位移。结果预测误差很低,即使没有动作监督,视觉表征也已编码与动作相关的运动信息。这直接证明表征层面的多模态统一真实生效,视觉感知与动作规划在共享潜在空间深度耦合,而非独立链路。
数据基础设施与统一动作表示
文章提到,Thinker-WM 的训练依赖规模丰富、类型多元的数据。为应对不同机器人动作空间、坐标系、控制协议的差异,模型统一使用末端位姿表示所有机器人动作,并在 token 中嵌入专属标签,使不同形态机器人共享生成空间且保留本体控制能力。同时,Data Factory 将数据管理与训练采样解耦,通过统一组织、分层质检、异步预取等环节,为六种能力模式的联合训练提供工程支撑。
Q&A
优必选Thinker-WM在哪些基准测试中获得了第一名?
Thinker-WM在WorldOlympiad、EWMBench和WorldArena1.0 Track-1三大具身世界模型基准评测中均获得第一名。
Thinker-WM的核心技术创新是什么?
核心创新是在表征层面统一多模态,将RGB视频、深度和机器人动作编码至共享空间,由统一动态Transformer(UDT)联合建模,实现多模态在Transformer内部的直接交互。
Thinker-WM支持哪些能力模式?
Thinker-WM支持六大能力模式,包括视频-动作联合生成、世界预测、策略推理、视频转动作、逆动力学等。
深度作为原生模态对机器人操作有什么实际提升?
在RoboTwin单任务消融实验中,引入深度模态后,操作成功率较无深度基线提升了15个百分点。
Motion Probe实验证明了什么?
Motion Probe实验证明,即使没有动作监督,视觉表征中也已经编码了与动作相关的运动信息,表明表征层面的多模态统一真实生效,视觉感知和动作规划在共享潜在空间里实现深度耦合。
Thinker-WM相比传统世界模型方案有什么不同?
传统世界模型采用“拼接式”方案,视频生成、策略网络、几何预测等模块独立计算再接口拼接,丢失内在因果关联;Thinker-WM在表征层面统一多模态,让不同模态在共享空间联合演化,实现统一生成新范式。