HALO——纯仿真中训练“感知、规划、执行”且现实中无需扫描或补采数据:VLM分解任务、动作扩散模型生成运动规划、感知跟踪器执行规划
📝
内容提要
HALO是一种完全在仿真中生成数据并部署于实体机器人上的自主系统,通过程序化生成1000个家庭环境与300小时第一人称视觉-语言-运动数据,实现无需人工标注的零样本泛化。其分层架构包含:高层VLM解析自然语言为子任务,中层运动生成器基于视觉与任务生成5秒全身运动规划,底层感知跟踪器融合机载深度信息实时执行。该系统突破传统依赖人力采集数据、固定场景或盲控的局限,首次在6个未见过的真实环境中完成...