量子位
·
李飞飞吴佳俊团队推出具身智能决策能力评价基准，o1-preview登顶
💡
原文中文，约2400字，阅读约需6分钟。
📝
内容提要
李飞飞和吴佳俊团队推出了具身智能决策能力的评估基准EAI，全面评估了18款主流模型。测试结果显示，o1-preview在BEHAVIOR和VirtualHome环境中均获第一，促进了对大模型优缺点的深入理解。
🎯
关键要点
- 李飞飞和吴佳俊团队推出了具身智能决策能力的评估基准EAI。
- EAI全面评估了18款主流模型的决策能力。
- o1-preview在BEHAVIOR和VirtualHome环境中均获第一。
- EAI提供了统一的目标表示方法，兼容不同类型的目标。
- EAI采用模块化评估方式，细化评估指标。
- EAI提出四个关键能力模块：目标解释、子目标分解、动作序列规划、转换建模。
- EAI选取BEHAVIOR和VirtualHome两个环境，考察模型的跨领域泛化能力。
- o1-preview在BEHAVIOR环境中得分74.9，领先于Claude 3.5 Sonnet。
- 在VirtualHome环境中，o1-preview依然领先，Gemini 1.5 Pro排名第二。
- 研究发现模型的优缺点，为后续研究提供参考。
➡️
