Tower: 一种面向翻译相关任务的开放式多语言大型语言模型
内容提要
本文综述大语言模型在机器翻译中的进展，涵盖GenTranslate生成式翻译范式、ALMA翻译模型、偏好学习与少样本提示、Llama2等模型评估、BigTrans百语言翻译，以及同传翻译与生成文本检测。
延伸解读
GenTranslate：生成式翻译的新范式
GenTranslate 利用大型语言模型的丰富语言知识和推理能力，从多个候选译文中生成更高质量的翻译结果。这种生成式范式不同于传统方法，在语音和机器翻译基准测试中明显优于现有模型，为翻译质量提升提供了新思路。
ALMA：面向翻译任务的微调模型
ALMA 通过新的微调方法设计，在 WMT'21 和 WMT'22 测试集上相比之前工作和 7B 或 13B 参数模型有显著性能提升。这为机器翻译领域的新训练范式奠定了基础，展示了针对翻译任务专门优化语言模型的潜力。
Llama2 在多语言翻译中的表现与局限
研究评估了 Llama2 在机器翻译上的能力，发现 7B 模型对已见过的语言能达到 10 BLEU 以上，但对未见过的语言不一定如此。语言距离分析表明句法相似性并非决定翻译质量的主要因素，某些训练数据较少的语言反而与英语有强相关性，这提示了以非英语语言为中心构建多语言模型的可能性。
BigTrans 与同传翻译的进展
BigTrans 基于 LLaMA-13B 优化，支持超过 100 种语言，表现与 ChatGPT 和 Google Translate 相当。同传翻译方面，通过混合策略解决训练推理不匹配，在质量和延迟上达到与专用模型相当的水平。这些进展显示了大型语言模型在多语言和实时翻译任务中的广泛应用前景。
Q&A
GenTranslate是什么？它有什么优势？
GenTranslate是一种新的生成式翻译范式，利用大型语言模型的丰富语言知识和强大推理能力，从N个候选译文中生成更高质量的翻译结果，并在各种语音和机器翻译基准测试中明显优于现有模型。
ALMA翻译模型在哪些测试集上取得了显著提升？
ALMA在WMT'21和WMT'22的测试数据集上，相比于之前的工作和具有7B或13B参数的模型有着显著性能提升。
Llama2在机器翻译中的表现如何？
7B规模的Llama2模型对其已见过的所有语言都具有10 BLEU分数以上，但对未见过的语言不一定如此。语言距离分析表明，句法相似性并非决定翻译质量的主要语言因素。
BigTrans支持多少种语言？其性能如何？
BigTrans基于LLaMA-13B模型，通过三个步骤优化，使其在超过100种语言上具备多语翻译能力。初步实验表明，BigTrans在多种语言上的表现与ChatGPT和Google Translate相当，并在8种语言对中表现出色。
大型语言模型在同传机器翻译中能达到什么水平？
利用大型语言模型进行同传机器翻译，通过混合策略和混合训练监督微调，实现了显著性能改进，证明大型语言模型可以在翻译质量和延迟方面达到与专用同传机器翻译模型相当的水平。
SemEval-2024任务8中，检测机器生成文本的方案取得了什么成绩？
该方案应用语言识别和参数高效微调小型LLM进行文本分类，通过每种语言分类阈值校准将微调模型预测与统计检测指标相结合，提高泛化能力，最终在比赛中取得第四名，仅比冠军低1个百分点。
