KoDialogBench：韩语对话基准测试用于评估语言模型的对话理解能力
内容提要
本文综述了多项语言模型评估基准，包括韩语基准KoBEST、KLUE、KMMLU，中文高考基准GAOKAO-Benchmark，以及知识边界评估方法。其中KMMLU涵盖45个学科、3.5万道题，GPT-4准确率仅59.95%，低于人类的62.6%，表明韩语模型仍有较大提升空间。
延伸解读
韩语基准的多样性：从KoBEST到KMMLU
文章介绍了多个韩语评估基准，包括KoBEST、KLUE和KMMLU。KoBEST由韩国语言学家设计和标注，为低资源语言提供参考；KLUE涵盖8个自然语言理解任务，并开源了预训练模型；KMMLU则包含45个学科的35,030道专家级选择题，源自韩国本土考试，更贴近韩语语言文化。这些基准从不同角度评估模型能力，共同推动韩语NLP发展。
KMMLU揭示的韩语模型性能差距
KMMLU测试了26个公开和专有LLM，发现最佳公开模型准确率仅50.54%，远低于人类平均62.6%。即使GPT-4和HyperCLOVA X也分别只有59.95%和53.40%。这表明当前LLM在韩语上仍有显著提升空间，尤其是主要用英文和中文训练的模型。KMMLU为追踪韩语LLM进展提供了工具，并已集成到EleutherAI评估工具中。
评估方法的创新：知识边界与提示敏感性
文章指出，固定问题或有限改写的评估不可靠，因为语言模型对提示敏感。为此，研究者提出“知识边界”概念，涵盖提示不可知和提示敏感的知识，并开发了带语义约束的投影梯度下降算法来寻找最佳提示。这种方法避免了提示敏感性，使评估更可靠稳健，为语言模型知识能力评估提供了新思路。
Q&A
KMMLU是什么？它和之前的韩语基准有什么不同？
KMMLU是一个新的韩语基准，包含来自45个学科的35,030个专家级多项选择题，涵盖人文学科到STEM学科。与之前从英语基准翻译而来的韩语基准不同，KMMLU收集了来自原始韩语考试的问题，捕捉了韩语的语言和文化方面。
大型语言模型在KMMLU上的表现如何？
测试了26个公开和专有LLM模型，最好的公开模型准确率为50.54%，远低于人类平均表现62.6%。即使是最强大的专有LLM，如GPT-4和HyperCLOVA X，分别只能达到59.95%和53.40%。
KLUE是什么？它包含哪些任务？
KLUE是韩语自然语言理解评估标准，涵盖8个韩语自然语言任务。它通过从多种资源语料库中构建任务和数据，并注重版权保护和伦理考虑来保证对任何人的无限制性可达。
什么是知识边界？它如何改进语言模型评估？
知识边界是一个新概念，用于涵盖语言模型中的提示不可知和提示敏感的知识。它避免了语言模型评估中的提示敏感性，使其更可靠和稳健。为了探索知识边界，提出了具有语义约束的投影梯度下降方法。
GAOKAO-Benchmark是什么？它如何评估语言模型？
GAOKAO-Benchmark是一个利用中国高考考试问题作为测试样本的基准测试，采用基于零-shot prompts的方法分析模型的准确率和评分率。发现ChatGPT在解决客观问题方面表现优异，同时也揭示了不足和改进方向。
KoBEST是什么？它有什么特点？
KoBEST是韩文平衡重要任务评估，是一个新的基准数据，旨在为现代语言模型提供韩语下游任务，并且仅由专业的韩国语言学家设计和标注，为其他低资源语言构建基准数据提供新思路。
