研究人员提出了新的韩语基准KMMLU，包含35,030个专家级多项选择题，涵盖人文学科到STEM学科。最佳模型在KMMLU上的准确率为50.54％，低于人类平均表现62.6％。研究人员呼吁改进韩语LLMs，并将KMMLU整合到EleutherAI的语言模型评估工具中。