大模型无法真正理解视频，GPT-4o正确率仅36%，南洋理工大团队提出新基准
原文中文，约4500字，阅读约需11分钟。
📝
内容提要
南洋理工大学研究团队提出了Video Thinking Test（Video-TT）来评估AI的视频理解能力。研究显示，GPT-4o的准确率仅为36%，远低于人类的84.3%。AI在模糊内容、场景区分和世界知识理解方面存在显著弱点，表明视频理解领域仍需提升。
🔎
延伸解读
AI视频理解的局限性
研究表明，当前的AI模型在视频理解方面存在显著局限，尤其是在处理模糊内容和复杂情节时表现不佳。GPT-4o的准确率仅为36%，远低于人类的84.3%。这表明，尽管AI在某些任务上表现出色，但在真正理解视频内容和推理方面仍需大幅提升。
Video-TT的创新评测方法
Video Thinking Test（Video-TT）通过设计复杂问题，旨在评估AI的思考能力而非简单的模式匹配。这种方法强调视觉和叙事复杂度，能够更准确地反映AI在视频理解上的真实水平，推动相关研究向更深层次发展。
评测标准的必要性
现有的视频理解基准测试存在缺陷，难以准确评估AI的真实能力。Video-TT的出现为这一领域提供了新的评测标准，强调了在评估AI时需要关注其理解和推理能力，而不仅仅是表面的准确率。这一转变可能会影响未来AI模型的开发方向。
❓
Q&A
Video Thinking Test（Video-TT）是什么？
Video-TT是南洋理工大学提出的一个新基准测试，用于评估AI在视频理解方面的能力。
GPT-4o在Video-TT测试中的表现如何？
GPT-4o在Video-TT测试中的准确率仅为36%，远低于人类的84.3%。
AI在视频理解方面存在哪些主要弱点？
AI在模糊内容识别、多场景区分和世界知识理解方面存在显著弱点。
Video-TT如何评估AI的思考能力？
Video-TT通过设计复杂问题，关注视觉和叙事复杂度，来评估AI的思考能力。
现有的视频理解基准测试存在哪些缺陷？
现有基准测试无法有效区分AI是因为未能“看清”还是未能“想明白”而出错。
人类在视频理解方面的表现如何？
人类在视频理解的准确率达到84.3%，鲁棒性为64.4%，表现远超AI。
🏷️
