量子位
·
李飞飞谢赛宁新作「空间推理」：多模态大模型性能突破关键所在
💡
原文中文，约2800字，阅读约需7分钟。
📝
内容提要
李飞飞和谢赛宁的新研究探讨了多模态大模型的空间推理能力，发现这些模型在空间认知上与人类存在显著差距。研究提出了VSI-Bench基准测试，评估模型在视觉空间智能方面的表现，结果显示人类准确率为79%，而最佳模型仅为48.8%。此外，语言提示技术未能提升模型表现，反而导致下降，强调了认知地图在空间推理中的潜力。
🎯
关键要点
- 李飞飞和谢赛宁的新研究探讨多模态大模型的空间推理能力。
- 研究发现多模态大模型在空间认知上与人类存在显著差距，空间推理能力是主要瓶颈。
- 提出了VSI-Bench基准测试，评估模型在视觉空间智能方面的表现。
- 人类在VSI-Bench上的准确率为79%，而最佳模型仅为48.8%。
- 语言提示技术未能提升模型表现，反而导致下降。
- 认知地图在空间推理中具有潜力，能增强模型的空间距离能力。
- 研究设计了超5000个问答对，评测任务分为配置型、测量估计和时空任务三大类。
- 模型在理解局部空间关系时表现较好，但全局空间理解能力较弱。
- 使用认知地图辅助空间推理可提升模型准确率，为提升空间智能提供潜在解决方向。
- 研究团队包括李飞飞、谢赛宁及四位共同作者，吸引了广泛关注。
➡️
