MMMU-Pro：更强鲁棒性的多学科多模态理解基准
内容提要
本文介绍了MMMU基准，旨在评估多模态模型在大学级学科知识和复杂跨学科任务上的表现。MMMU包含11500个多模态问题，涵盖六个核心学科，强调领域特定知识的高级推理能力。评估结果显示，先进模型如GPT-4V的准确率仅为56%，表明改进空间巨大，推动专家级人工智能的下一代多模态基础模型的发展。
延伸解读
MMMU的评估重点与独特之处
MMMU不同于一般多模态基准，它强调大学级学科知识和专家式推理，问题来自大学考试、测验和教科书，覆盖六个核心学科、30个学科和183个子领域，并包含图表、地图、乐谱、化学结构等30种高度异质的图像类型。这种设计旨在检验模型能否像专家一样运用领域特定知识进行高级感知和推理，而非仅完成浅层识别任务。
当前模型的性能表现与改进空间
文章对14个开源LMM和GPT-4V进行了评估，结果显示即使先进的GPT-4V准确率也仅为56%。这一结果说明现有模型在处理需要跨学科知识和复杂推理的多模态任务时仍有明显不足，也印证了MMMU作为挑战性基准的有效性，为后续研究指明了提升方向。
MMMU在基准发展脉络中的位置
从文章后续列举的SEED-Bench-2、CMMMU、MMT-Bench等基准可以看出，多模态评估正朝着更综合、更跨学科、更贴近专家任务的方向演进。MMMU作为早期代表，聚焦大学级学科知识，为后续基准提供了设计思路，并推动社区构建面向专家人工通用智能的下一代多模态基础模型。
Q&A
MMMU基准的主要目的是什么？
MMMU基准旨在评估多模态模型在大学级学科知识和复杂跨学科任务上的表现。
MMMU基准包含多少个多模态问题？
MMMU基准包含11500个多模态问题。
MMMU基准涵盖哪些学科？
MMMU基准涵盖六个核心学科：艺术与设计、商业、科学、健康与医药、人文社会科学和技术与工程学。
MMMU基准的评估结果如何？
评估结果显示，先进模型如GPT-4V的准确率仅为56%，表明改进空间巨大。
MMMU基准对多模态模型的挑战是什么？
MMMU基准强调使用领域特定知识进行高级推理，挑战模型执行类似于专家的任务。
MMMU基准的未来目标是什么？
MMMU的目标是推动专家级人工智能的下一代多模态基础模型的发展。
