CMMU：中文多模态多类型问题理解与推理基准
内容提要
该文汇总了CMMMU、CMMLU、MMMU、ArcMMLU、ZhuJiu、M3KE、SuperCLUE、CMExam、MM-BigBench等多个中文大模型评测基准，覆盖多学科、多模态及医学、图书情报等领域，评估主流大模型的知识与推理能力。结果显示，即使GPT-4V等先进模型准确率仍有限，多数模型表现不足，表明中文大模型仍有较大提升空间。
延伸解读
中文多模态评测的现状与挑战
文章汇总了多个中文多模态评测基准，如CMMMU、MMMU等，覆盖多学科领域。结果显示，即使先进模型如GPT-4V在MMMU上准确率仅56%，多数模型表现不足，表明中文多模态理解与推理仍有较大提升空间。这些基准为评估模型在专业领域的能力提供了重要工具。
领域专业化评测的兴起
除了通用基准，文章还介绍了针对特定领域的评测，如ArcMMLU专注于图书馆与信息科学，CMExam聚焦医学。这些基准填补了中文领域评估的空白，揭示了模型在专业场景下的性能差距，为未来领域定制化模型的发展提供了方向。
评测方法多样性与模型表现
不同基准采用多样化的评估方法，如ZhuJiu强调多维能力覆盖和避免数据泄漏，SuperCLUE关注用户偏好自动评估。这些方法从不同角度衡量模型能力，但普遍显示模型在中文任务上准确率有限，凸显了持续改进的必要性。
Q&A
CMMU是什么？
CMMU是一个新的中国大规模多学科多模态理解基准，旨在评估大型多模态模型在中国语境中对要求大学级学科知识和深思熟虑推理的任务上的表现，并推动下一代LMMs的发展。
CMMLU基准覆盖哪些领域？
CMMLU涵盖自然科学、社会科学、工程学和人文学科等多个领域。
MMMU基准包含哪些学科？
MMMU涵盖六个核心学科：艺术与设计、商业、科学、健康与医药、人文社会科学和技术与工程学，共30个学科和183个子领域。
GPT-4V在MMMU上的准确率是多少？
即使是先进的GPT-4V也只能达到56%的准确率。
ArcMMLU基准专注于哪个领域？
ArcMMLU专门为中文图书馆与信息科学领域定制，涵盖档案学、数据科学、图书馆学和信息科学四个子领域。
M3KE基准上GPT-3.5的准确率如何？
GPT-3.5在M3KE上达到了约48%的准确率，比其他中文语言模型表现更为优异。
