量子位
·
具身智能迎来“统考卷”：上海交通大学发布大规模开源测评集GM-100，致力推动行业标准化
💡
原文中文，约1500字，阅读约需4分钟。
📝
内容提要
上海交通大学发布的开源测评集GM-100包含100个任务和13,000条操作轨迹数据，旨在评估机器人智能与物理执行的协同能力。该测评集强调任务设计的广度与评估的深度，提供多维指标分析模型性能，推动行业标准化，降低研究门槛，促进合作与交流。
🎯
关键要点
- 上海交通大学发布开源测评集GM-100，包含100个任务和13,000条操作轨迹数据。
- GM-100旨在评估机器人智能与物理执行的协同能力，推动行业标准化。
- 项目强调任务设计的广度与评估体系的深度，区别于现有测评集。
- 团队理念为“以数据为中心的具身智能”，高质量数据集对科研贡献重要。
- 任务设计过程系统严谨，涵盖从简单操作到复杂场景的百项任务。
- 引入部分成功率和动作预测误差作为评估指标，提供多维分析。
- GM-100在不同机器人平台上表现出稳定的泛化性，提供可靠的能力比较。
- 所有任务的详细说明和操作轨迹数据已开源，降低研究门槛。
- 建立审核机制确保开源模型的可信度，未来将完善社区功能。
- GM-100旨在打造开放、透明、可复现的评测平台，引导研究方向。
➡️
