多语言大型语言模型的高效有效词汇扩展

介绍了 EEVE-Korean-v1.0，这是一个在英语和韩语文本理解方面表现出非凡能力的韩语适应版本的大型语言模型。通过引入一个高效有效的词汇扩展（EEVE）方法，该模型能够显着提升非英语能力。EEVE-Korean-10.8B-v1.0 在 Open Ko-LLM 排行榜上超过了大多数指令调整的 LLMs，并成为 2024 年 1 月开源社区中领先的韩语预训练模型。

KMMLU是一个新的韩语基准，包含35,030个专家级多项选择题。测试发现，目前的韩语LLMs表现较差，最好的模型准确率为50.54％。KMMLU提供了正确的工具来追踪韩语LLMs的改进。数据集已在Hugging Face Hub上公开，并整合到EleutherAI的语言模型评估工具中。