量子位
·
AI连电路图都看不懂？SeePhys新基准暴击多模态短板，正确率仅55%
内容提要
SeePhys新基准显示，当前顶尖AI模型在物理图像理解方面的准确率仅为55%。该基准涵盖从初中到博士的多模态物理问题，强调视觉信息对模型推理的重要性，揭示了多模态推理的巨大挑战。
关键要点
-
SeePhys新基准显示，顶尖AI模型在物理图像理解方面的准确率仅为55%。
-
该基准涵盖从初中到博士的多模态物理问题，强调视觉信息对模型推理的重要性。
-
SeePhys由中山大学、苏黎世联邦理工学院、华为诺亚方舟实验室和香港大学的研究团队联合推出。
-
实验表明即使是SOTA模型如Gemini-2.5-Pro和o4-mini的准确率都不足55%。
-
SeePhys填补了现有物理学基准的空白，旨在评估AI模型是否能理解物理图像。
-
SeePhys的特点包括知识层级跨度大、强视觉依赖和跨模态耦合。
-
SeePhys包含2000道题目和2245张图表，涵盖7大物理领域和8个知识层级。
-
实验发现，视觉-文本对齐能力存在缺陷，最佳模型的准确率未达70%。
-
模型在视觉依赖性较低的问题中表现优于视觉信息富集的问题。
-
知识注入对模型性能提升显现边际效应，较弱模型在高年级问题上表现较差。
-
研究团队归纳出9种错误推理模式，包括视觉误读、文本误读和建模错误等。
延伸解读
多模态推理的挑战
SeePhys基准揭示了当前AI模型在处理物理图像时的显著不足，准确率仅为55%。这表明，尽管AI在语言处理上取得了进展，但在视觉信息的理解和推理方面仍面临巨大挑战，尤其是在复杂的物理图表中。
知识层级与模型表现
SeePhys涵盖从初中到博士的多种知识层级，实验结果显示，较弱模型在高年级问题上的表现显著下降。这提示我们，知识的深度和复杂性对AI模型的推理能力有直接影响，未来的研究需关注如何提升模型在高难度问题上的表现。
视觉-文本对齐的重要性
研究发现，视觉信息的有效整合能够显著提升模型的理解能力。即使是非必要的图表也能帮助模型更好地理解问题，这强调了在多模态学习中，视觉与文本信息的对齐是提升AI推理能力的关键因素。
延伸问答
SeePhys基准的主要目的是什么？
SeePhys基准旨在评估AI模型是否能理解物理图像，并结合图像进行思考。
当前顶尖AI模型在物理图像理解方面的准确率是多少？
当前顶尖AI模型在物理图像理解方面的准确率仅为55%。
SeePhys基准涵盖了哪些知识层级和领域？
SeePhys基准涵盖从初中到博士的多个知识层级，包括经典力学、电磁学和量子物理等7大领域。
实验中发现了哪些模型的视觉-文本对齐能力缺陷？
实验发现，最佳模型Gemini-2.5-Pro的准确率仅为54.9%，且在视觉依赖性较低的问题中表现优于视觉信息富集的问题。
SeePhys基准的独特之处是什么？
SeePhys基准的独特之处在于其知识层级跨度大、强视觉依赖和跨模态耦合。
研究团队总结了哪些错误推理模式？
研究团队总结了9种错误推理模式，包括视觉误读、文本误读和建模错误等。
