模拟最短路径实现在真实世界中的有效导航和操作
原文中文,约400字,阅读约需1分钟。发表于: 。在这项工作中,我们展示了在模拟环境中模仿最短路径规划者能够产生使得智能体可以根据语言指令熟练地导航、探索和操作对象的代理,仅使用 RGB 传感器(无深度图或 GPS 坐标)。这一令人惊讶的结果得益于我们的端到端、基于 transformer 的 SPOC 架构、强大的视觉编码器以及大规模且多样化的训练数据:在大约 200,000 个程序生成的房屋中收集了数百万帧最短路径专家轨迹,涵盖了...
研究人员展示了使用RGB传感器的智能体能够根据语言指令熟练地导航、探索和操作对象。他们使用了端到端、基于transformer的SPOC架构和大规模多样化的训练数据。研究人员还开源了他们的模型、数据、训练代码和新的任务基准套件CHORES。