本文介绍了MMMU基准，旨在评估多模态模型在大学级学科知识和复杂跨学科任务上的表现。MMMU包含11500个多模态问题，涵盖六个核心学科，强调领域特定知识的高级推理能力。评估结果显示，先进模型如GPT-4V的准确率仅为56%，表明改进空间巨大，推动专家级人工智能的下一代多模态基础模型的发展。

本文介绍了MMMU，一个新基准，用于评估多模态模型在大学级学科知识和跨学科任务上的表现。MMMU包含11500个多模态问题，涵盖六个核心学科，旨在挑战模型进行高级推理。评估结果显示，先进模型如GPT-4V的准确率仅为56%，表明仍有改进空间，MMMU旨在推动专家级人工智能的发展。

该文综述了多个多模态与中文大模型评测基准：MMMU包含1.15万道大学级跨学科多模态题，GPT-4V准确率仅56%；CMMLU、MME、MM-BigBench、ArcMMLU、CMB、M3Exam、M3KE、CMExam分别覆盖中文学科、多模态、图书情报、医学及考试等场景。结果表明，现有模型在多语言、多模态及专业领域仍存在明显差距，亟需改进。

MMMU是一个新的基准，用于评估多模态模型在大规模跨学科任务上的表现。它包含11500个多模态问题，涵盖六个核心学科和30个学科和183个子领域。MMMU侧重于使用领域特定知识进行高级感知和推理，对14个开源LMM和专有的GPT-4V进行了评估。结果显示，即使是先进的GPT-4V也只能达到56％的准确率。MMMU将推动构建面向专家人工通用智能的下一代多模态基础模型。