阿拉伯语 MMLU: 评估阿拉伯语的大规模多任务语言理解
内容提要
本文综述了多个非英语大语言模型基准：CMMLU评估中文多学科知识，KMMLU基于韩国原始试题，ArcMMLU聚焦中文图书情报学，CMMMU考察中文多模态推理。结果显示，主流模型准确率普遍偏低，远逊人类水平，非英语能力仍有较大提升空间。
延伸解读
非英语基准的共性发现
从CMMLU、KMMLU到ArcMMLU，多个非英语基准的评估结果一致表明，主流大语言模型在非英语任务上的准确率普遍偏低。例如，CMMLU上多数模型平均准确率不足50%，仅略高于25%的随机基线；KMMLU上最佳公开模型准确率为50.54%，远低于人类平均的62.6%。这反映出当前LLM的非英语能力仍有显著提升空间。
韩语基准的独特价值
KMMLU不同于以往从英语翻译的韩语基准，它直接采集自原始韩语考试，涵盖45个学科，能更好地捕捉韩语的语言和文化特性。测试显示，即使最强专有模型GPT-4和HyperCLOVA X也仅达到59.95%和53.40%，而主要用英文和中文训练的模型在韩语上表现更差。这表明需要专门针对韩语进行优化，KMMLU为追踪进展提供了合适工具。
中文基准的领域深化
除了通用的CMMLU，中文评估正走向细分领域。ArcMMLU专注于图书馆与信息科学，包含超过6000个高质量问题，覆盖档案学、数据科学、图书馆学和信息科学四个子领域。虽然主流LLM平均准确率超过50%，但仍存在显著性能差距，且少样本示例对性能有影响。这提示未来需要针对特定领域定制LLM。
多模态与跨语言评估的拓展
评估范围已从纯文本扩展到多模态和跨语言场景。CMMMU评估中文多模态推理，要求大学级学科知识和深思熟虑的推理；阿拉伯语方面，有研究构建了超过500GB的清洁语料库，微调后比mBERT提升4.5%至8.5%，并提出了JABER等阿拉伯BERT模型。这些工作表明，非英语LLM的评估和资源建设正在多维度推进。
Q&A
CMMLU基准主要评估什么？
CMMLU是一个涵盖自然科学、社会科学、工程学和人文学科等多个领域的全面中文基准，用于评估大型语言模型在中文多学科知识上的表现。
KMMLU基准有什么特点？
KMMLU是一个韩语基准，包含来自45个学科的35,030个专家级多项选择题，题目来自原始韩语考试，捕捉了韩语的语言和文化方面，而不是从英语翻译而来。
大型语言模型在非英语基准上的表现如何？
大多数现有LLM在非英语基准上表现不佳，例如在CMMLU上平均准确率难以达到50%，在KMMLU上最好的公开模型准确率为50.54%，远低于人类平均表现62.6%，表明非英语能力仍有较大提升空间。
有哪些针对阿拉伯语的语言模型或资源？
文章提到了阿拉伯语语料库（超过500GB的清理文本）、三种阿拉伯BERT模型（JABER、Char-JABER、SABER）和两种T5模型（AT5S、AT5B），以及阿拉伯多模态情感分析数据集。
ArcMMLU基准是做什么的？
ArcMMLU是专门为中文图书馆与信息科学领域定制的基准，涵盖档案学、数据科学、图书馆学和信息科学四个子领域，包含超过6,000个高质量问题，用于评估LLM在该领域的知识和推理能力。
CMMMU基准评估什么能力？
CMMMU是一个中国大规模多学科多模态理解基准，旨在评估大型多模态模型在中国语境中对要求大学级学科知识和深思熟虑推理的任务上的表现。
