TransLLaMa: 基于 LLM 的同步翻译系统
内容提要
本文综述大语言模型在机器翻译与同声传译中的应用：通过混合训练缓解训练推理不匹配，提升翻译质量并降低延迟；提出Simul-LLM开源框架；验证单语模型LM4MT可媲美编码器-解码器模型；探索性别特定翻译与提示控制；提出ALMA翻译器及单调翻译加重排序框架；评估多语言翻译的优势与挑战；并改进Wait-k机制与单语数据抽样策略。
延伸解读
训练与推理不匹配的混合策略
文章指出，同传机器翻译存在训练与推理不匹配的问题。通过混合完整句子和前缀句子进行监督微调，可以缓解这一问题，并显著提升性能。这表明大型语言模型在翻译质量和延迟上能达到与专用同传模型相当的水平，为后续研究提供了简单有效的思路。
Simul-LLM：开源同传微调与评估框架
文章介绍了Simul-LLM，这是首个专注于同时翻译任务的开源微调与评估流程框架。它验证了经典方法在大型语言模型上的有效性，并探索了将机器翻译模型适配到同传任务的途径。该框架的提出有助于推动同传翻译研究的可复现性和标准化评估。
单语模型LM4MT的竞争力
研究表明，预训练的单语模型LM4MT在标准机器翻译基准上能与强大的编码器-解码器NMT模型性能相当。LM4MT还能利用源侧文本作为额外监督，提供统一的跨语言表示，在中间语言和零样本翻译任务中表现突出，展示了单语模型在翻译任务中的潜力。
多语言翻译的评估与发现
文章系统评估了XGLM、OPT、BLOOMZ和ChatGPT在102种语言上的多语言翻译性能，揭示了大型语言模型在多语言机器翻译中的优势与挑战。分析发现这些模型具有一些新的工作方式，为理解多语言翻译的机制和改进方向提供了实证基础。
Q&A
TransLLaMa 是什么？
TransLLaMa 是一个基于大型语言模型（LLM）的同步翻译系统，旨在利用 LLM 进行同声传译，通过混合训练策略解决训练推理不匹配问题，提升翻译质量并降低延迟。
TransLLaMa 如何解决训练推理不匹配的问题？
TransLLaMa 引入了简单而有效的混合策略，通过在完整句子和前缀句子的混合训练上进行监督微调，实现了显著的性能改进，使 LLM 在翻译质量和延迟上达到与专用同传模型相当的水平。
Simul-LLM 是什么？
Simul-LLM 是首个专注于同时翻译任务的开源 fine-tuning 和评估流程框架，用于将大型语言模型适配到同时翻译任务。
LM4MT 在机器翻译中表现如何？
预训练的单一语言模型 LM4MT 在标准机器翻译基准测试中能与强大的编码器-解码器 NMT 模型取得可比较的性能，并能轻松利用源侧文本作为额外监督，在跨语言知识转移和零样本翻译任务中表现更好。
大型语言模型在性别特定翻译方面有什么优势？
使用解码器-only 大型语言模型进行性别特定翻译时，通过提示可以控制输出属性，生成性别特定的翻译且具有竞争性准确性和性别偏见缓解，但在性别模糊数据集中性能下降，在上下文较少歧义时保持鲁棒性。
ALMA 翻译器是什么？
ALMA 是一种面向翻译任务的先进语言模型的翻译器，通过新的微调方法设计，在 WMT'21 和 WMT'22 测试数据集上相比之前的工作和具有 7B 或 13B 参数的模型有显著性能提升，为机器翻译领域的新训练范式奠定了基础。
如何改进 Wait-k 机制？
提出了一种基于 Mixture-of-Experts Wait-k 机制的通用即时翻译模型，采用多头注意力实现专家混合，每个专家根据其自己的等待词数被认为是 wait-k 专家，并根据测试延迟和源输入调整专家权重以产生最佳翻译，在任意延迟下实现最佳翻译质量。
单语数据如何用于提高同时机器翻译质量？
研究提出并探索了使用单语数据来提高同时机器翻译的质量，并提出了新的单语抽样策略，以避免 SiMT 中的幻觉问题，实验表明新策略可以显著提高翻译质量。
