π0引用的中国团队,又出手了:世界仿真器新作发布

π0引用的中国团队,又出手了:世界仿真器新作发布

💡 原文中文,约3100字,阅读约需8分钟。
📝

内容提要

Current Robotics团队发布交互式世界仿真器CurrentWorld-0,为机器人构建更真实的“第二世界”。该系统首次整合跨本体、多视角及力触觉预测,确保机器人动作与物理反馈一致,即使失败也不被纠正。它支持多相机同步、力觉模拟及状态回滚,用于机器人策略评估与训练,旨在让不同形态机器人在统一世界中演练。

🔎

延伸解读

跨本体动作空间:统一世界模型的关键

CurrentWorld-0没有强制所有机器人使用统一动作格式,而是保留各自的本体动作子空间(Action Subspace)。这意味着不同形态的机器人(如固定双臂、移动升降双臂、人形)可以用自己习惯的方式控制,但世界模型必须理解这些不同动作对同一物理世界的影响。这种设计避免了因动作接口差异而导致的物理规律不一致,是跨本体建模的核心挑战。

多视角一致性:避免生成漂移

机器人执行任务时通常依赖多个摄像头,如第三视角、头部相机、腕部相机。CurrentWorld-0需要确保多路画面同步生成,且对同一事件保持一致。若某一路画面出现漂移(如物体位置跳变),物理过程就会断裂。因此,模型不仅要生成单帧图像,还要维持多视角对同一事件的共同记录,这对评测的可靠性至关重要。

力触觉预测:超越视觉的物理反馈

仅靠视觉难以判断机器人是否真正抓住物体或施加了力。CurrentWorld-0将力觉和触觉纳入预测,使工具受力、接触发生、抓取稳定性等状态随动作变化。这弥补了像素之外的物理反馈,让评测更接近真实操作,尤其适用于精细操作任务(如夹薯片、削黄瓜)。

状态回滚与遥操作:支持策略迭代

CurrentWorld-0允许操作员在机器人进入潜在失败状态时通过遥操作接管,并支持状态保存与回滚。这意味着同一状态可以尝试不同动作,产生不同结果,并记录新的交互轨迹用于策略后训练。这种机制提高了评测效率,也为策略改进提供了更多探索空间。

Q&A

CurrentWorld-0是什么?它有什么主要功能?

CurrentWorld-0是Current Robotics团队发布的交互式世界仿真器,首次整合跨本体、多视角及力触觉预测,支持多相机同步、力觉模拟及状态回滚,用于机器人策略评估与训练。

CurrentWorld-0与之前的dWorldEval工作有何关联?

CurrentWorld-0延续了dWorldEval中关于世界模型动作可控性的研究,强调动作变化必须导致世界相应变化,即使动作失败也不能被模型纠正,确保评测结果真实。

为什么CurrentWorld-0要支持跨本体建模?

因为不同机器人(如固定双臂、移动升降双臂、人形)的动作格式不同,但物理世界规律一致。CurrentWorld-0保留各本体的Action Subspace,将不同动作推演到统一的世界状态,确保物体行为符合物理规律。

CurrentWorld-0如何保证多视角一致性?

CurrentWorld-0同步生成多路视角,确保机器人、物体和场景状态在多个相机中保持一致,避免出现物体位置漂移或跳变,从而维持对同一事件的共同记录。

CurrentWorld-0如何模拟力觉和触觉?

CurrentWorld-0将力觉和触觉纳入未来预测,模拟工具受力、接触发生和抓取稳定性等物理反馈,使评测不仅基于视觉,还能反映真实物理交互。

CurrentWorld-0支持哪些交互功能?

支持操作员通过遥操作接管策略执行,可保存和回滚状态,从同一节点尝试不同动作,并记录交互轨迹用于策略后训练。

CurrentWorld-0的发布对机器人领域有何意义?

它为不同形态的机器人提供了统一的仿真测试环境,使机器人在进入真实世界前能安全地演练和评估,有助于提升策略的可靠性和泛化能力。

🏷️

标签

➡️

继续阅读