RedWhale：通过高效持续预训练的改进韩语大语言模型
内容提要
本文介绍了韩语自然语言理解评估标准KLUE及相关研究，涵盖多个韩语任务和预训练语言模型（PLM）。KLUE通过多样化语料库构建任务，强调版权和伦理，促进未来研究。KMMLU基准测试显示韩语LLM模型表现不足，需改进。EEVE-Korean模型在非英语文本理解上表现优异，提出增强低资源语言表现的策略，强调提升LLM在复杂语义理解中的能力。
延伸解读
韩语LLM的评估基准：从KLUE到KMMLU
KLUE是2021年发布的韩语自然语言理解评估标准，涵盖8个任务，注重版权和伦理。2024年提出的KMMLU则包含35,030个专家级多项选择题，来自45个学科，更贴近韩语语言文化。测试显示，最佳公开模型准确率仅50.54%，远低于人类平均62.6%，表明韩语LLM仍有很大改进空间。
提升低资源语言表现的策略
针对韩语等低资源语言，研究提出了三种策略：扩展词汇表、使用双语数据预训练以对齐高资源语言、构建高质量小规模指令数据集进行微调。EEVE-Korean模型通过词汇扩展显著提升了非英语能力，在Open Ko-LLM排行榜上超越多数指令调整模型，成为2024年1月领先的开源韩语预训练模型。
语用能力与复杂语义理解的挑战
评估显示，GPT-4在韩语语用能力测试中得分较高（多项选择81.11，开放式85.69），HyperCLOVA X在开放式问题中达81.56分。但使用CoT提示的少样本学习会引入字面解释偏见，限制语用推理。这强调了提升LLM理解超出字面解释的复杂意义的重要性。
Q&A
KLUE是什么，它的主要功能是什么？
KLUE是韩语自然语言理解评估标准，涵盖8个韩语任务，注重版权和伦理，提供评估方法和预训练语言模型。
KMMLU基准测试的主要发现是什么？
KMMLU基准测试显示韩语LLM模型表现不足，最佳公开模型的准确率仅为50.54%，远低于人类平均表现62.6%。
EEVE-Korean模型的优势是什么？
EEVE-Korean模型在非英语文本理解上表现优异，通过高效的词汇扩展方法显著提升了非英语能力。
如何提升低资源语言在大型语言模型中的表现？
可以通过扩展词汇表、使用双语数据进行预训练和构建高质量的小规模指令数据集来提升低资源语言的表现。
韩语LLM模型在复杂语义理解中面临哪些挑战？
韩语LLM模型在理解和传达超出字面解释的复杂意义方面存在显著挑战，尤其是在推理能力上。
KLUE-BERT和KLUE-RoBERTa的作用是什么？
KLUE-BERT和KLUE-RoBERTa是预训练语言模型，旨在帮助重现KLUE上的基线模型并促进未来研究。
