基于改进的传统中文评估套件的基础模型
内容提要
本文介绍了多个中文大模型评测基准：CMMLU覆盖多学科，多数模型准确率不足50%；CMMU、CMMMU评测多模态理解；M3KE测多学科少样本能力，GPT-3.5约48%；ZhuJiu多维评估中文能力；SuperCLUE显示GPT-4可自动评估用户偏好。此外还提及韩语基准KMMLU及大规模多模态数据集Wan Juan。
延伸解读
中文基准的多样性：从单模态到多模态
文章提及了多个中文基准，如CMMLU、CMMU、CMMMU、M3KE、ZhuJiu和SuperCLUE，覆盖了从纯文本到多模态的评估。CMMLU侧重多学科知识，CMMU和CMMMU则针对多模态理解，M3KE关注少样本学习，ZhuJiu强调多维能力，SuperCLUE聚焦用户偏好。这种多样性反映了中文评估需求的细化，但读者需注意各基准的侧重点不同，不能简单比较分数。
模型表现普遍偏低，改进空间显著
文章指出，在CMMLU上多数模型准确率不足50%，随机基线为25%；M3KE上GPT-3.5约48%；韩语基准KMMLU中最佳公开模型仅50.54%，低于人类平均62.6%。这些数据表明，当前大语言模型在中文及多语言任务上仍有较大提升空间，尤其在需要专业知识和推理的领域。读者应理性看待模型能力，避免过度依赖。
评估方法创新：自动评估与数据泄漏防范
SuperCLUE显示GPT-4可自动评估用户对中文开放性问题的偏好，这为评估提供了新思路。ZhuJiu基准则强调避免数据泄漏，确保评估的公正性。这些方法上的改进有助于更可靠地衡量模型能力，但读者需注意自动评估的局限性，以及数据泄漏防范的实际效果仍需验证。
Q&A
CMMLU基准主要评估什么？它的评估结果如何？
CMMLU是一个涵盖自然科学、社会科学、工程学和人文学科等多个领域的全面中文基准。评估18种多语言和中文LLM后，发现大多数模型在提供上下文示例和思维链提示时仍难以达到50%的平均准确率，而随机基准线为25%，表明LLM有显著改进空间。
CMMU和CMMMU这两个基准有什么不同？
CMMU是专为中文设计的多模态多类型问题理解和推理基准，测试多模态LLM的领域专有知识掌握；CMMMU则是中国大规模多学科多模态理解基准，评估大型多模态模型在大学级学科知识和深思熟虑推理任务上的表现。两者都针对中文多模态理解，但CMMMU更强调大学级学科知识。
M3KE基准测试什么？GPT-3.5在它上面的表现如何？
M3KE是一个用于测试中文大型语言模型在各种学科和教育级别下零样本和少样本多任务准确性的基准。在该基准上，GPT-3.5达到了约48%的准确率，比其他中文语言模型表现更优异。
ZhuJiu基准有什么特点？
ZhuJiu基准具有综合评估大语言模型的多维能力覆盖、多方面合作评估方法、全面的中文基准以及避免潜在数据泄漏的特点。研究者用它对10个当前主流大语言模型进行了评估。
SuperCLUE基准的评估结果说明了什么？
SuperCLUE是一个综合性的中文基准。通过它，研究者发现现有评估模型性能的精确性不足以反映用户偏好，并且GPT-4可以可靠地自动评估用户对中文开放性问题的偏好。
KMMLU基准是什么？它的评估结果如何？
KMMLU是一个新的韩语基准，包含来自45个学科的35,030个专家级多项选择题，涵盖人文学科到STEM学科。它收集原始韩语考试问题，捕捉韩语的语言和文化方面。测试26个LLM后发现，最好的公开模型准确率为50.54%，远低于人类平均表现62.6%；GPT-4和HyperCLOVA X分别达到59.95%和53.40%，表明韩语LLM需要进一步改进。
