“具身智能小镇”来了!机器人逛超市买菜满街跑,来自上海AI Lab

💡 原文中文,约1600字,阅读约需4分钟。
📝

内容提要

上海AI实验室推出了首个模拟交互式3D世界“GRUtopia”,包含89个场景类别。项目计划开源,提供demo安装指南。核心工作包括GRScenes(大规模场景数据集)、GRResidents(NPC系统)和GRBench(benchmark)。实验结果表明,使用大型模型作为后端代理的表现更好。研究工作由上海人工智能实验室OpenRobot Lab领衔。

Q&A

GRUtopia是什么?

GRUtopia是由上海AI实验室推出的首个模拟交互式3D世界,包含89个场景类别,支持机器人在虚拟环境中进行行为模拟。

GRUtopia的核心工作有哪些?

GRUtopia的核心工作包括GRScenes(大规模场景数据集)、GRResidents(NPC系统)和GRBench(评估基准)。

GRScenes有什么特点?

GRScenes是一个包含大规模场景数据的数据集,扩展了机器人活动的环境范围,覆盖超市、医院等多种服务场景。

GRResidents系统如何工作?

GRResidents是一个由大模型驱动的NPC系统,能够推断物体之间的空间关系并参与动态对话和任务分配。

GRBench的评估基准包括哪些内容?

GRBench包含目标定位导航、社交定位导航和定位操作三个基准,难度逐渐递增。

实验结果显示使用大型模型的优势是什么?

实验结果表明,使用大型模型作为后端代理的表现优于随机策略,且在对话上Qwen-VL的表现超过了GPT-4o。

🏷️

标签

➡️

继续阅读