多模态理解排行榜：文本与图像
内容提要
多模态大模型评测基准不断涌现，如SEED-Bench-2、CMMU、MMMU等，覆盖图像视频理解、多学科知识与推理。评估显示，现有模型在专业领域知识、多语言及复杂多模态推理上仍存明显局限，GPT-4V准确率仅约56%，开源模型差距更大。
延伸解读
多模态评测的现状与挑战
文章介绍了多个多模态大模型评测基准，如SEED-Bench-2、CMMU、MMMU等，覆盖图像视频理解、多学科知识与推理。评估显示，现有模型在专业领域知识、多语言及复杂多模态推理上仍存明显局限，GPT-4V准确率仅约56%，开源模型差距更大。这些基准的推出反映了多模态理解评测正从通用感知向专家级推理深化。
专业领域知识成为主要瓶颈
MMMU基准包含大学级学科问题，涵盖艺术设计、商业、科学、健康医药、人文社科、技术工程等六大核心学科，30个学科和183个子领域，以及图表、乐谱、化学结构等30种高度异质图像类型。评估表明，即使先进模型如GPT-4V也仅达56%准确率，说明模型在需要领域特定知识的高级感知和推理任务上仍有很大提升空间。
中文与多语言评测的专门化需求
CMMU是专为中文设计的多模态多类型问题基准，测试模型在中文语境下的理解和推理能力。M3Exam则利用多语言、多模态的人类考试题目进行评估，发现当前模型在低资源和非拉丁语文本上表现不佳。这些基准的出现表明，多模态评测需要针对不同语言和文化背景进行专门化设计，以更全面评估模型的实际应用能力。
评估方法向主观与创造性任务扩展
传统自动评估依赖有标准答案的客观查询，难以衡量创造性和联想性多模态任务。MLLM-Bench受Vicuna启发，涵盖感知、理解、应用、分析、评估、创作及伦理考虑，旨在更准确反映用户体验。对比评估显示开源模型与GPT-4V存在显著性能差距。这类基准推动评估从客观问答向更贴近实际应用的主观任务发展。
Q&A
有哪些评估多模态大语言模型的主流基准测试？
文章提到了多个基准测试，包括SEED-Bench-2、CMMU、MMMU、MLLM-Bench、SEED-Bench、MM-BigBench、MultiBench、M3Exam和CMMMU。
MMMU基准测试主要评估什么？
MMMU旨在评估多模态模型在需要大学级学科知识和深思熟虑的大规模跨学科任务上的表现。它包含来自大学考试、测验和教科书的11500个多模态问题，涵盖艺术与设计、商业、科学、健康与医药、人文社会科学和技术与工程学六个核心学科，30个学科和183个子领域，以及30种高度异质的图像类型。
GPT-4V在MMMU基准上的准确率是多少？
GPT-4V在MMMU基准上的准确率仅为56%。
CMMU基准测试有什么特点？
CMMU是一个新型基准，用于测试多模态和多类型问题的理解和推理，专为中文设计。研究结果表明，CMMU对近期的多模态大型语言模型构成了重要挑战。
SEED-Bench基准测试包含哪些内容？
SEED-Bench包含19K个准确的多项选择题（是现有基准测试的6倍大），涵盖12个评估维度，包括图像和视频模态的理解。它通过自动过滤和人工验证流程生成问题，并评估了18个模型在所有12个维度上的性能。
MLLM-Bench基准测试的设计目标是什么？
MLLM-Bench旨在更准确地反映用户体验，并提供对模型性能更全面的评估。它涵盖了感知、理解、应用、分析、评估和创作等各种场景，以及伦理考虑。
