基于 Mistral 的大型马来西亚语言模型用于增强本地语言理解
内容提要
该文汇总多项大语言模型研究：Mistral 7B经微调提升医学翻译，零样本性能媲美NLLB 3.3B；Mixtral 8x7B采用专家混合架构，表现优异；MaLA-500覆盖534种语言；LongBench评估长文本能力；LLaMA2扩展至32k上下文；mLongT5提升多语言长文本任务；马耳他语单语预训练也取得显著改进。
延伸解读
微调小模型在专业翻译中的潜力
文章提到，对Mistral 7B进行微调后，其在医学领域的西班牙语到英语翻译质量超过基准，零样本翻译与NLLB 3.3B相当，单样本翻译甚至更优。这表明，通过针对性微调，通用大模型可以在特定领域达到专用翻译模型的水平，为低资源领域提供高效解决方案。
长上下文建模的技术趋势
多项研究聚焦长文本处理：LongBench评估显示商业模型在长上下文仍有困难；LLaMA2通过持续预训练将上下文扩展至32k，70B变体在长任务上超越GPT-3.5-Turbo-16k；EVALM可测试256k长度。这些进展表明，长上下文能力正成为大模型竞争的关键，且持续预训练比从头训练更高效。
低资源语言覆盖的扩展策略
MaLA-500通过词汇扩展和持续预训练覆盖534种语言，在SIB-200上取得最新成果；马耳他语单语预训练表明，混合领域语料和少量数据即可显著提升下游任务。这些方法为提升低资源语言性能提供了可行路径，即通过词汇扩充和持续预训练来增强多语言能力。
Q&A
Mistral 7B 在医学翻译任务上微调后效果如何？
微调后的 Mistral 7B 在西班牙语到英语的医学翻译上质量改进超过基准性能，零射击翻译与 NLLB 3.3B 性能相当，单射击翻译质量超过 NLLB 3.3B。
Mixtral 8x7B 的架构和性能特点是什么？
Mixtral 8x7B 是一种稀疏专家混合（SMoE）语言模型，采用与 Mistral 7B 相同的架构，每层有 8 个前馈块（专家），通过路由网络选择两个专家处理当前状态并组合输出，最终得到使用 13B 活跃参数的 47B 参数模型。在数学、代码生成和多语言基准测试中表现优秀，其指令精调模型 Mixtral 8x7B - Instruct 在人类基准测试中超过了 GPT-3.5 Turbo、Claude-2.1、Gemini Pro 和 Llama 2 70B - chat model。
MaLA-500 支持多少种语言？其性能如何？
MaLA-500 设计用于覆盖 534 种语言。通过词汇扩展和持续预训练，在 SIB-200 上的实验表明其实现了最新的上下文学习结果。
LongBench 评估了哪些模型？主要发现是什么？
LongBench 对 8 个大型语言模型进行了全面评估。发现商业模型（GPT-3.5-Turbo-16k）优于其他开源模型，但在更长语境下仍存在困难；在较长序列上进行缩放位置嵌入和微调能带来长语境理解的实质性改进；检索等上下文压缩技术对长上下文能力较弱的模型有改进，但性能仍落后于具有强大长上下文理解能力的模型。
LLaMA2 如何扩展上下文窗口？效果如何？
通过从 Llama 2 开始的持续预训练，在更长的训练序列和上采样长文本的数据集上构建模型，支持高达 32,768 个令牌的有效上下文窗口。在大多数常规任务上取得一致改进，并在长上下文任务上相对于 Llama 2 有显著提升。70B 变体通过指令调整过程，在长上下文任务中整体性能超过了 gpt-3.5-turbo-16k。
mLongT5 是什么？它在多语言任务上的表现如何？
mLongT5 是一种适用于处理长输入的多语言高效文本到文本转换器，在 LongT5 架构上构建，并利用用于预训练 mT5 和 UL2 预训练任务的多语言数据集。评估显示，在各种多语言摘要和问答任务上，其性能强于 mBART 或 M-BERT 等现有模型。
单语预训练对低资源语言（如马耳他语）有什么效果？
使用单语数据预训练对 mBERT 中未包含的低资源语种（如马耳他语）有显著效果。研究表明，混合预训练域往往优于仅使用维基百科文本，且只有一小部分马耳他语语料库就足以在任务性能上取得显著提高。从头开始训练的单语 BERT 模型（BERTu）和进一步预训练的多语言 BERT 模型（mBERTu）都在各种下游任务上取得了最先进的性能。
