量子位
·
大模型无法真正理解视频，GPT-4o正确率仅36%，南洋理工大团队提出新基准
内容提要
南洋理工大学研究团队提出了Video Thinking Test（Video-TT）来评估AI的视频理解能力。研究显示，GPT-4o的准确率仅为36%，远低于人类的84.3%。AI在模糊内容、场景区分和世界知识理解方面存在显著弱点，表明视频理解领域仍需提升。
关键要点
-
南洋理工大学提出Video Thinking Test（Video-TT）评估AI视频理解能力。
-
研究显示GPT-4o的准确率仅为36%，远低于人类的84.3%。
-
AI在模糊内容、场景区分和世界知识理解方面存在显著弱点。
-
Video-TT旨在分离AI的“看”与“想”能力，精准测量其理解和推理水平。
-
现有视频理解基准测试存在缺陷，难以评估AI真实水平。
-
长视频评测面临帧采样悖论，短视频评测存在天花板幻觉。
-
Video-TT设计了复杂问题以激发AI的思考能力，关注视觉和叙事复杂度。
-
AI思考的鲁棒性通过自然对抗性问题进行检验。
-
评测结果显示人类在视频理解上遥遥领先于AI。
-
GPT-4o在复杂情节和世界知识理解上存在核心弱点，表现不佳。
延伸解读
AI视频理解的局限性
研究表明，当前的AI模型在视频理解方面存在显著局限，尤其是在处理模糊内容和复杂情节时表现不佳。GPT-4o的准确率仅为36%，远低于人类的84.3%。这表明，尽管AI在某些任务上表现出色，但在真正理解视频内容和推理方面仍需大幅提升。
Video-TT的创新评测方法
Video Thinking Test（Video-TT）通过设计复杂问题，旨在评估AI的思考能力而非简单的模式匹配。这种方法强调视觉和叙事复杂度，能够更准确地反映AI在视频理解上的真实水平，推动相关研究向更深层次发展。
评测标准的必要性
现有的视频理解基准测试存在缺陷，难以准确评估AI的真实能力。Video-TT的出现为这一领域提供了新的评测标准，强调了在评估AI时需要关注其理解和推理能力，而不仅仅是表面的准确率。这一转变可能会影响未来AI模型的开发方向。
延伸问答
Video Thinking Test（Video-TT）是什么？
Video-TT是南洋理工大学提出的一个新基准测试，用于评估AI在视频理解方面的能力。
GPT-4o在Video-TT测试中的表现如何？
GPT-4o在Video-TT测试中的准确率仅为36%，远低于人类的84.3%。
AI在视频理解方面存在哪些主要弱点？
AI在模糊内容识别、多场景区分和世界知识理解方面存在显著弱点。
Video-TT如何评估AI的思考能力？
Video-TT通过设计复杂问题，关注视觉和叙事复杂度，来评估AI的思考能力。
现有的视频理解基准测试存在哪些缺陷？
现有基准测试无法有效区分AI是因为未能“看清”还是未能“想明白”而出错。
人类在视频理解方面的表现如何？
人类在视频理解的准确率达到84.3%，鲁棒性为64.4%，表现远超AI。
