量子位
·
游戏bug帮大模型学物理！准确率超GPT4o近4个百分点
💡
原文中文，约3400字，阅读约需8分钟。
📝
内容提要
开源模型PhysVLM通过分析游戏视频中的物理故障，提升了AI对物理常识的理解，准确率超越GPT-4o达3.4%。该模型在PhysGame和Video-MME等多个基准测试中表现优异，展现了其在视频理解领域的先进性能。
🎯
关键要点
- 开源模型PhysVLM通过分析游戏视频中的物理故障，提升了AI对物理常识的理解。
- PhysVLM在PhysGame和Video-MME等多个基准测试中表现优异，准确率超越GPT-4o达3.4%。
- PhysVLM专注于游戏视频中的物理故障现象，简化了物理常识理解的定义和评估。
- PhysGame benchmark包含880个含有故障现象的游戏视频，涵盖力学、运动学、光学和材料属性等四个关键物理领域。
- PhysGame benchmark中的视频主要从Reddit和YouTube收集，经过严格的人工筛查和内容检查。
- PhysInstruct数据集用于监督微调，PhysDPO数据集用于提供更可信的回答。
- PhysVLM在所有专有模型中表现最佳，超越了现有开源模型的准确率。
- PhysVLM在Video-MME和VCG benchmark中也展现出卓越的性能，尤其在短视频和长视频上表现优越。
- PhysVLM相关论文、代码和数据均已开源，供研究者使用。
➡️
