KMMLU是一个新的韩语基准，包含35,030个专家级多项选择题。测试发现，目前的韩语LLMs表现较差，最好的模型准确率为50.54％。KMMLU提供了正确的工具来追踪韩语LLMs的改进。数据集已在Hugging Face Hub上公开，并整合到EleutherAI的语言模型评估工具中。