机器人版的「斯坦福小镇」来了，专为具身智能研究打造
💡
原文中文，约4800字，阅读约需12分钟。
📝
内容提要
上海人工智能实验室的研究者创建了一个虚拟小镇，用于模拟互动3D社会，解决具身智能领域的数据稀缺问题。该小镇包含10万个交互式场景和89种场景类别，主要包括GRScenes场景数据集、GRResidents非玩家角色系统和GRBench评估工具。作者希望这项工作能为具身AI研究提供全面评估。
🎯
关键要点
- 上海人工智能实验室创建了一个虚拟小镇GRUtopia，旨在解决具身智能领域的数据稀缺问题。
- GRUtopia包含10万个交互式场景和89种场景类别，主要包括GRScenes场景数据集、GRResidents非玩家角色系统和GRBench评估工具。
- GRScenes是一个大规模的场景数据集，涵盖了多种场景类别，弥补了服务型环境的空白。
- GRResidents是一个基于大型语言模型的非玩家角色系统，负责社交互动和任务生成。
- GRBench是一个评估工具，支持多种机器人，重点关注有腿机器人，提供物体定位导航、社交定位导航和定位操纵的任务。
- 作者希望通过这项工作缓解高质量数据稀缺的问题，并为具身AI研究提供全面评估。
- 虚拟环境中使用的世界知识管理器（WKM）用于管理实时世界状态的动态知识，增强NPC的感知能力。
- 实验表明，NPC能够生成对象说明并为智能体提供对象信息，验证了其在指代和grounding任务中的准确性。
- GRBench的评估结果显示，使用大型模型作为后端的智能体在任务中表现优越，表明该框架在现实世界的具身任务中具有潜力。
➡️
