CMMMU: 一个中国的大型多学科多模态理解基准
内容提要
该文综述了多个多模态与中文大模型评测基准：MMMU包含1.15万道大学级跨学科多模态题，GPT-4V准确率仅56%；CMMLU、MME、MM-BigBench、ArcMMLU、CMB、M3Exam、M3KE、CMExam分别覆盖中文学科、多模态、图书情报、医学及考试等场景。结果表明，现有模型在多语言、多模态及专业领域仍存在明显差距，亟需改进。
延伸解读
MMMU 的高难度设计
MMMU 包含 1.15 万道大学级跨学科多模态题，覆盖六大核心学科和 30 种图像类型，要求模型运用领域特定知识进行高级感知与推理。评估显示，GPT-4V 准确率仅 56%，表明即使先进模型在专家级任务上仍有很大提升空间。该基准强调复杂推理而非简单识别，为多模态模型设定了更高门槛。
中文基准的多元覆盖
文章综述了多个中文评测基准：CMMLU 覆盖多学科，评估 18 种多语言和中文 LLM，多数模型在提供上下文示例和思维链提示时平均准确率仍难达 50%；ArcMMLU 专注图书馆与信息科学，收集超 6000 题，主流 LLM 平均准确率超 50% 但仍有显著差距；CMB 和 CMExam 则针对中国医学场景。这些基准共同揭示中文模型在专业领域的不足。
多模态与考试场景的挑战
MME 评估了 10 种先进 MLLM；MM-BigBench 用 14 个数据集评估 20 个语言模型（含 14 个多模态模型）；M3Exam 利用人类考试题，发现 GPT-4 在多语言文本和复杂多模态问题上表现不佳；M3KE 上 GPT-3.5 准确率约 48%，优于其他中文模型。这些结果表明，现有模型在多语言、多模态及考试类任务中仍存在明显短板。
Q&A
MMMU基准主要评估什么能力？
MMMU旨在评估多模态模型在需要大学级学科知识和深思熟虑的大规模跨学科任务上的表现，侧重于使用领域特定知识进行高级感知和推理。
MMMU基准包含多少问题？覆盖哪些学科？
MMMU包含11500个精心收集的多模态问题，涵盖艺术与设计、商业、科学、健康与医药、人文社会科学和技术与工程学六个核心学科，涉及30个学科和183个子领域。
GPT-4V在MMMU上的准确率是多少？
即使是先进的GPT-4V在MMMU上也只能达到56%的准确率，表明多模态模型在大学级跨学科任务上仍有很大改进空间。
CMMLU基准是什么？它评估什么？
CMMLU是一个涵盖自然科学、社会科学、工程学和人文学科等多个领域的全面中文基准，用于评估多语言和中文大型语言模型在不同主题和设置下的性能。
现有大型语言模型在CMMLU上的表现如何？
大多数现有LLM在提供上下文示例和思维链提示时仍难以达到50%的平均准确率，而随机基准线为25%，凸显出LLMs有显著改进空间。
ArcMMLU基准针对哪个领域？它有什么发现？
ArcMMLU是专门为中文图书馆与信息科学领域定制的基准，涵盖档案学、数据科学、图书馆学和信息科学四个子领域。研究发现大多数主流LLM平均准确率超过50%，但仍存在显著性能差距，表明该领域LLM功能仍有提升空间。
CMB基准是什么？它有什么特点？
CMB是一个基于中文和本土文化框架的本地化医学基准评估工具，用于评估各类大型语言模型，包括中文和医学领域的模型，旨在促进在中国医学领域中普及和改进大型语言模型。
M3Exam基准有什么特点？当前模型表现如何？
M3Exam利用人类考试题目全面评估LLMs，具有多语言、多模态和多级结构的特点。在低资源和非拉丁语文本方面，当前模型（包括GPT-4）仍难以应对多语言文本，同时多模态LLMs在复杂多模态问题上表现不佳。
