韩国社会价值和常识的 LLM 对齐基准 (KorNAT)
内容提要
该文介绍多个评估大语言模型的基准：KMMLU用韩语原创试题测试26个模型，最佳准确率仅50.54%，远低于人类的62.6%；CAT基于文化维度框架评估ChatGPT、Bard等的跨文化一致性；KorNLI、SocKET、ALCUNA分别测试韩语理解、社交语言理解和新知识处理能力，揭示模型在文化对齐与推理上的不足。
延伸解读
韩语LLM能力现状：与人类差距明显
KMMLU基准测试显示，26个公开和专有LLM在韩语专家级多选题上表现不佳。最佳公开模型准确率仅50.54%，远低于人类平均62.6%。即使GPT-4和HyperCLOVA X也分别只有59.95%和53.40%。这表明当前LLM的韩语能力仍有显著提升空间，尤其是主要用英文和中文训练的模型。
文化对齐评估：多维度揭示模型差异
CAT基准利用Hofstede文化维度框架，评估ChatGPT、Bard等模型在美国、沙特、中国等文化中的价值嵌入。结果显示，GPT-4在理解美国文化价值上得分最高，但模型间存在解释性文化维度差异。此外，研究强调以文化主要语言提示或使用多语言精炼混合预训练能提高文化一致性，人类学提示方法可进一步增强。
社交语言理解与常识推理的不足
SocKET基准测试显示，当前模型在社交语言理解上表现中等，但零样本评估揭示预训练模型已具备某些固有能力。同时，基于直觉理论的研究发现，LLM在因果和道德判断上与人类整体相符度提高，但对不同因素的重视程度存在明显差异，表明模型隐含倾向与人类直觉不完全一致。
新知识处理与幻觉问题
ALCUNA基准评估LLM处理新知识的能力，发现模型在新知识推理上表现不佳，且实体相似性会影响其对实体知识的理解。此外，KaLMA任务旨在改进传统归因语言模型，以应对LLM的幻觉问题，提升可靠性。这些工作共同指向LLM在知识更新和事实一致性方面的挑战。
Q&A
KMMLU 基准是什么？它和之前的韩语基准有什么不同？
KMMLU 是一个新的韩语基准，包含来自 45 个学科的 35,030 个专家级多项选择题，涵盖人文学科到 STEM 学科。与之前从现有英语基准翻译而来的韩语基准不同，KMMLU 收集了来自原始韩语考试的问题，捕捉了韩语的语言和文化方面。
大型语言模型在 KMMLU 上的表现如何？
测试了 26 个公开和专有 LLM 模型，最好的公开模型准确率为 50.54%，远低于人类平均表现 62.6%。即使最强大的专有 LLM，如 GPT-4 和 HyperCLOVA X，分别只能达到 59.95% 和 53.40%。
CAT 基准是用来做什么的？
CAT（Cultural Alignment Test）用于解决大型语言模型的文化不匹配问题，使用 Hofstede 的文化维度框架，通过潜变量分析提供解释性跨文化比较，评估 LLMs 嵌入不同文化中的文化价值。
SocKET 基准测试什么？结果如何？
SocKET 是一个理论驱动的基准，用于测试大型语言模型在社交语言理解方面的性能。结果表明当前模型表现中等，但存在任务转移潜力，零样本评估显示预训练模型已具备某些固有能力。
ALCUNA 基准评估什么？发现了什么问题？
ALCUNA 基准用于评估大规模语言模型在处理新知识方面的能力，发现它们在处理新知识的推理方面表现不佳，并探索了实体相似性对模型理解实体知识的影响。
KorNLI 和 KorSTS 数据集是什么？
KorNLI 和 KorSTS 是韩文自然语言理解数据集，分别用于 NLI 和 STS 任务，通过机器翻译现有的英语训练集和手动翻译开发和测试集来构建，并建立了基线模型。
