LLaMAX：扩展 LLM 的语言翻译能力，超越 100 种语言的限制
内容提要
本研究提出了BigTrans模型，扩展了LLaMA和BLOOM的多语言能力，支持100种语言。经过优化和实验，BigTrans在多语翻译上表现优异，接近ChatGPT和Google Translate。研究还探讨了大型语言模型在机器翻译中的优势与挑战，并提出了新的生成式翻译范式“GenTranslate”，显著提升翻译质量。
延伸解读
多语言扩展的技术路径
文章提到，BigTrans通过构建两个数据集将LLaMA和BLOOM的多语言能力扩展到100种语言，并采用DPO算法进行人类反馈对齐。这表明扩展LLM语言覆盖不仅依赖数据规模，还需结合对齐技术。此外，研究显示使用不到1%的预训练数据即可在低资源语言上达到与先进迁移模型相当的性能，为资源有限场景提供了可行方向。
生成式翻译范式的创新
GenTranslate作为一种新的生成式翻译范式，能够从多个候选译文中生成更高质量的翻译结果，并在语音和机器翻译基准测试中优于现有模型。这提示读者，LLM在翻译任务中不仅可作为直接翻译器，还能作为后处理或融合工具，提升整体翻译质量。
模型性能与实用化考量
BigTrans在多种语言上的表现与ChatGPT和Google Translate相当，并在8种语言对中表现出色。然而，文章也指出LLM在多语言机器翻译中面临挑战，如低资源语言的数据匮乏和词汇扩展问题。ALMA模型在WMT测试集上显著提升性能，但参数规模较小，说明高效微调方法可能比单纯扩大参数更关键。
Q&A
BigTrans模型的主要特点是什么？
BigTrans模型扩展了LLaMA和BLOOM的多语言能力，支持超过100种语言，并在多语翻译上表现优异。
BigTrans与ChatGPT和Google Translate相比如何？
BigTrans在多种语言上的表现与ChatGPT和Google Translate相当，且在8种语言对中表现出色。
什么是GenTranslate翻译范式？
GenTranslate是一种新的生成式翻译范式，能够从多个候选译文中生成更高质量的翻译结果。
ALMA翻译器的设计目的是什么？
ALMA翻译器旨在通过新的微调方法显著提升翻译性能，特别是在WMT'21和WMT'22的测试数据集上。
大型语言模型在机器翻译中面临哪些挑战？
大型语言模型在机器翻译中面临数据匮乏、词汇扩展和优化偏好等挑战。
研究如何评估不同翻译模型的性能？
研究通过在102种语言上评估XGLM、OPT、BLOOMZ和ChatGPT等模型的性能来进行比较。
