通过权重解耦，将模型合并从微调扩展到预训练的大型语言模型
内容提要
本文探讨了通过知识融合和模型合并提升大型语言模型（LLMs）在低资源语言和机器翻译任务中的性能。研究表明，结合不同模型和微调方法能显著提高翻译质量，尤其在数据稀缺的情况下。实验结果显示，预训练模型在翻译任务中表现优越，理解翻译指令至关重要。
延伸解读
模型合并为何在低资源场景受关注
文章指出，模型合并能有效提升低资源语言的任务解决能力，并在数据稀缺时表现出更高的数据效率。与传统的连续预训练和监督微调相比，这种方法不依赖大量标注数据，而是通过融合已有预训练模型的知识来增强目标模型。对于资源有限的语言或任务，这提供了一条降低数据依赖的可行路径，但具体效果仍受源模型能力和融合方式的影响。
三阶段训练范式的设计逻辑
文章提出的新范式包含三个阶段：先用大量单语数据进行二次预训练，再用互译文本格式文档进行连续预训练，最后利用源语言一致的指导进行监督微调。这一设计试图让模型在缺乏平行语料时也能学习翻译能力，并通过对齐源语言指令来提升翻译质量。实验表明该方法在参数较少时仍能取得优于先前工作的性能，但各阶段的具体贡献和适用边界仍需进一步验证。
翻译微调的效果因语言对而异
文章提到，翻译微调即使对零样本语言平均而言也能提高翻译质量，但其影响因涉及的语言对不同而存在差异。这意味着不能简单认为微调对所有语言对都同等有效，在资源极低或语言差异较大的场景中，收益可能有限。因此，在实际应用中需要针对具体语言对评估微调策略，而非一概而论。
LLM与NMT集成的互补价值
文章介绍了一种将机器翻译模型与LLM即时集成的方法，在四个语言对上的实验发现，稍差的LLM也能提升NMT模型的翻译质量，且这种集成效果优于两个较强机器翻译模型的集成。这表明LLM与专用翻译系统之间存在能力互补，提示工程如上下文学习等技术可被用来挖掘这种潜力。不过，该结论基于特定语言对和实验设置，推广时需谨慎。
Q&A
如何通过模型合并提升低资源语言的翻译能力？
通过知识融合和模型合并，可以有效提高低资源语言的任务解决能力，尤其在数据稀缺的情况下表现出更高的数据效率。
MergeDistill框架的主要目标是什么？
MergeDistill框架旨在通过知识蒸馏合并预先训练的多语言模型，以快速训练出性能优于数量级更大的模型。
新的机器翻译范式是如何工作的？
新的机器翻译范式通过在平行文本上对大型语言模型进行微调，已被证明能够胜过使用大量平行数据训练的专用翻译系统。
预训练模型在翻译任务中的表现如何？
实验结果表明，预训练模型在翻译任务中表现优越，其翻译能力依赖于对翻译指令的理解和语言之间的对齐。
翻译微调对零样本语言的影响是什么？
翻译微调即使对于零样本语言平均而言也会提高翻译质量，但其影响因所涉及的语言对而异。
如何通过知识融合提升大型语言模型的性能？
通过将预先训练的大型语言模型相互结合，利用知识融合的方法，可以提升目标模型在推理、常识与代码生成等多种能力上的表现。
