韩国社会价值和常识的 LLM 对齐基准 (KorNAT)

💡 原文中文,约500字,阅读约需2分钟。
📝

内容提要

研究人员提出了新的韩语基准KMMLU,包含35,030个专家级多项选择题,涵盖人文学科到STEM学科。最佳模型在KMMLU上的准确率为50.54%,低于人类平均表现62.6%。研究人员呼吁改进韩语LLMs,并将KMMLU整合到EleutherAI的语言模型评估工具中。

🏷️

标签

➡️

继续阅读