多语言大型语言模型的高效有效词汇扩展
内容提要
该文汇总多项研究：KMMLU韩语基准涵盖45个学科3.5万题，GPT-4准确率59.95%，低于人类的62.6%；EVE统一视觉语言模型提升下游性能；多语言E5嵌入模型支持百种语言；KELIP用11亿图文对训练韩英双语模型；EE-LLM框架加速大模型训练推理；另有词汇映射、语音理解等研究。
延伸解读
韩语基准揭示LLM语言能力差距
KMMLU基准包含45个学科的35,030道专家级韩语选择题，源自韩国本土考试，更能反映韩语语言文化特点。测试显示，最佳公开模型准确率仅50.54%，远低于人类平均62.6%；即使GPT-4和HyperCLOVA X也分别只有59.95%和53.40%。这表明当前LLM在韩语等非英语语言上仍有显著提升空间，尤其是主要用英文和中文训练的模型。
多语言嵌入与词汇扩展的实用进展
多语言E5文本嵌入模型支持百种语言，提供小、基础、大三种尺寸，在推理效率和嵌入质量间取得平衡，并引入指令调整嵌入模型。同时，词汇映射研究比较联合映射和混合映射，发现混合映射更有前景，首次尝试解决多语言环境下的词汇缺失问题。这些工作为多语言模型的实际部署和性能优化提供了可行方案。
多模态与高效训练框架的协同创新
EVE统一视觉语言模型通过共享Transformer和稀疏Mixture-of-Experts模块，实现图像像素和文本标记的信号重构，达到快速训练和更好下游性能。KELIP利用11亿图文对训练韩英双语多模态模型，在两种语言中均具竞争力。EE-LLM框架则通过3D并行和早期退出机制，加速大模型训练与推理。这些研究共同推动了多语言多模态模型的高效发展。
Q&A
KMMLU韩语基准的规模和人类表现如何？
KMMLU包含来自45个学科的35,030个专家级多项选择题，人类平均准确率为62.6%。
GPT-4在KMMLU上的准确率是多少？
GPT-4在KMMLU上的准确率为59.95%。
EVE模型是如何统一视觉和语言的？
EVE通过统一的预训练任务，在共享的Transformer网络中编码视觉和语言，并利用专注于模态性的稀疏Mixture-of-Experts模块捕捉模态特定信息。
多语言E5嵌入模型支持多少种语言？
多语言E5嵌入模型支持约100种语言。
KELIP模型使用了多少图文对进行训练？
KELIP使用了11亿图文对进行训练，包括7.08亿韩语数据和4.76亿英语数据。
EE-LLM框架的主要目标是什么？
EE-LLM框架旨在通过支持大规模3D并行性，加速早期退出大型语言模型的训练和推理。
