“具身智能小镇”来了！机器人逛超市买菜满街跑，来自上海AI Lab
内容提要
上海AI实验室推出了首个模拟交互式3D世界“GRUtopia”，包含89个场景类别。项目计划开源，提供demo安装指南。核心工作包括GRScenes（大规模场景数据集）、GRResidents（NPC系统）和GRBench（benchmark）。实验结果表明，使用大型模型作为后端代理的表现更好。研究工作由上海人工智能实验室OpenRobot Lab领衔。
延伸解读
GRUtopia的构成与目标
GRUtopia由GRScenes、GRResidents和GRBench三部分组成。GRScenes提供大规模场景数据集，覆盖超市、医院等89个类别，包含10万个交互式场景；GRResidents是由大模型驱动的NPC系统，能推断物体空间关系并进行动态对话；GRBench则从目标定位导航、社交定位导航和定位操作三个维度评估具身智能表现。该项目旨在通过Sim2Real路线降低现实世界数据收集的难度和成本。
NPC系统的验证与表现
为验证GRResidents的准确性，研究进行了描述和定位两项人类交叉验证实验。在描述实验中，NPC随机选择物体进行描述，人类需找到对应物体；定位实验则相反，NPC需根据人类描述找到物体。结果显示，调用不同大模型时成功率各异，综合来看GPT-4o表现最好。这表明大模型驱动的NPC在场景理解和交互上具有潜力，但性能受模型选择影响。
基准测试与模型对比
GRBench包含三个难度递增的基准：目标定位导航、社交定位导航和定位操作。实验表明，使用大型模型作为后端代理在所有基准测试中均优于随机策略。此外，在对话任务上，Qwen-VL的表现超过了GPT-4o。这些结果验证了基准设计的合理性，并凸显了大型模型在具身智能任务中的优势，为后续研究提供了参考。
开源计划与团队背景
GRUtopia项目计划开源，现阶段已在GitHub提供demo安装指南，安装后可在demo中控制人形机器人在房间内活动并调整视角。该研究由上海人工智能实验室OpenRobot Lab领衔，实验室聚焦具身通用人工智能，致力于构建软硬虚实一体化的通用机器人算法体系。今年5月，该团队还发布了具身多模态大模型Grounded 3D-LLM，以缓解三维场景理解的局限性。
Q&A
GRUtopia是什么？
GRUtopia是由上海AI实验室推出的首个模拟交互式3D世界，包含89个场景类别，支持机器人在虚拟环境中进行行为模拟。
GRUtopia的核心工作有哪些？
GRUtopia的核心工作包括GRScenes（大规模场景数据集）、GRResidents（NPC系统）和GRBench（评估基准）。
GRScenes有什么特点？
GRScenes是一个包含大规模场景数据的数据集，扩展了机器人活动的环境范围，覆盖超市、医院等多种服务场景。
GRResidents系统如何工作？
GRResidents是一个由大模型驱动的NPC系统，能够推断物体之间的空间关系并参与动态对话和任务分配。
GRBench的评估基准包括哪些内容？
GRBench包含目标定位导航、社交定位导航和定位操作三个基准，难度逐渐递增。
实验结果显示使用大型模型的优势是什么？
实验结果表明，使用大型模型作为后端代理的表现优于随机策略，且在对话上Qwen-VL的表现超过了GPT-4o。
