量子位
·
视频推理界的“福尔摩斯测试”：所有大模型，统统不及格 | 论文代码开源
💡
原文中文，约2400字，阅读约需6分钟。
📝
内容提要
腾讯ARC Lab与香港城市大学推出的新基准Video-Holmes，旨在测试大模型在复杂视频推理中的能力。结果显示，所有大模型均未通过测试，反映出其推理能力的不足。该基准通过设计高难度问题，要求模型整合多个线索，以揭示推理能力的真实差距。
🎯
关键要点
- 腾讯ARC Lab与香港城市大学推出了新的基准Video-Holmes，旨在测试大模型在复杂视频推理中的能力。
- Video-Holmes被称为视频推理界的“福尔摩斯测试”，设计了高难度的推理任务。
- 现有的视频推理基准无法有效反映模型的推理能力，主要评估视觉感知和接地能力。
- 测试结果显示，所有大模型在Video-Holmes测试中均未通过，反映出其推理能力的不足。
- 团队收集并标注了270部短片，并设计了7种高推理要求的单选题。
- Video-Holmes能够反映推理模型与非推理模型之间的差距。
- 现有模型能够感知视觉信息，但在信息串联和推理能力上普遍欠缺。
- Video-Holmes的相关资料和代码已开源，用户可以下载并进行测试。
❓
延伸问答
Video-Holmes测试的主要目的是什么？
Video-Holmes测试旨在评估大模型在复杂视频推理中的能力，特别是整合多个线索进行推理的能力。
所有大模型在Video-Holmes测试中的表现如何？
所有大模型在Video-Holmes测试中均未通过，显示出其推理能力的不足。
Video-Holmes与现有视频推理基准有什么不同？
Video-Holmes设计了高难度的推理任务，能够更有效地反映模型的推理能力，而现有基准主要评估视觉感知和接地能力。
Video-Holmes测试中使用了多少部短片？
测试中使用了270部短片，这些短片被人工标注并设计了高推理要求的单选题。
如何下载和使用Video-Holmes？
可以通过GitHub下载Video-Holmes，使用特定的命令行代码进行安装和测试。
Video-Holmes的开源资料在哪里可以找到？
Video-Holmes的相关资料和代码已开源，可以在GitHub和HuggingFace上找到。
🏷️
标签
➡️
