对比型偏好优化：推动机器翻译中 LLM 性能的边界
内容提要
本文综述大语言模型在机器翻译领域的多项进展：提出ALMA微调方法并在WMT测试集上显著提升性能；采用对比式后训练（SLiC、DPO）进行人类偏好对齐，改善Orca等模型表现；探索上下文学习以实现实时自适应翻译；用混合策略解决同传训练与推理不匹配问题；系统评估多语言翻译能力；研究文档级翻译适配；利用GPT-4等模型进行跨语言数据增强；提出XConST提升零样本翻译；用偏好损失框架开展翻译教学；结合低秩适配器改进翻译与自动后编辑。
延伸解读
偏好对齐：从SFT到DPO的进阶
文章指出，在机器翻译中，即使监督微调（SFT）饱和后，对比式后训练方法DPO仍能带来阶跃式改进。这提示读者，传统SFT可能不是性能上限，利用人类偏好数据（如通过GPT-4构建对比）进行对齐，可进一步释放模型潜力。数据课程学习方案（从简单对比到困难对比）也被证明能提升对齐效果，为训练策略设计提供了新思路。
专用模型与通用大模型的性能对比
文章在文档级翻译研究中发现，部分专用模型的翻译性能甚至超过GPT-4，但同时也面临偏离翻译问题的挑战。这表明，尽管大语言模型在多语言翻译中展现优势，专用模型在特定任务上仍具竞争力。读者应关注不同场景下的模型选择，而非盲目追求通用大模型。此外，提示策略和精细调优对文档级翻译效果有显著影响。
零样本翻译的关键：提示策略与跨语言正则化
文章强调，在指导微调过程中采用的提示策略对零样本翻译性能至关重要。同时，提出的XConST方法通过跨语言一致性正则化弥合不同语言间的表示差距，持续提升了翻译性能。这提示读者，对于零样本翻译任务，除了模型本身，提示设计和正则化技术是提升效果的有效手段，尤其在多对多翻译场景中值得关注。
数据增强的效益与局限
文章利用GPT-4等大模型进行跨语言数据增强，发现GPT-4生成的合成数据训练效果优于其他模型，且ChatGPT和GPT-4在多数语言中生成的文本自然度很高。但文章也指出，在某些情况下效益会下降。这提醒读者，数据增强并非万能，需评估目标语言和任务特性，避免盲目依赖合成数据。
Q&A
ALMA 是什么？它在机器翻译上有什么效果？
ALMA 是一种面向翻译任务的先进语言模型的微调方法。在 WMT'21 和 WMT'22 测试集上，相比之前的工作和具有 7B 或 13B 参数的模型，ALMA 取得了显著性能提升，并为机器翻译领域的新训练范式奠定了基础。
对比式后训练（如 SLiC 和 DPO）如何提升大语言模型的翻译偏好对齐？
通过自动构建偏好对比并运用对比式后训练方法，比较 SLiC 和 DPO 与 SFT 基准，发现 DPO 在 SFT 饱和后仍能提供阶跃式改进。采用数据课程学习方案（从简单对比逐渐转向困难对比）进一步提高了对齐性。扩大实验规模后，对比式后训练还提升了 Orca 模型的性能，使其超过 ChatGPT。
如何利用上下文学习提高实时自适应机器翻译的质量？
研究利用上下文学习的方法来提高实时自适应机器翻译的质量，并将强编码器-解码器模型与模糊匹配相结合以进一步提高翻译质量，在五个不同的语言对上进行了实验。
大型语言模型在同声传译机器翻译中如何解决训练推理不匹配问题？
引入简单而有效的混合策略，通过在完整和前缀句子的混合训练上进行监督微调，实现了显著的性能改进，证明大型语言模型可以在翻译质量和延迟方面达到与专用同传机器翻译模型相当的水平。
大型语言模型在多语言机器翻译中的表现如何？
系统研究了大型语言模型在多语言机器翻译中的优势和挑战，在 102 种语言上评估了 XGLM、OPT、BLOOMZ 和 ChatGPT 四种常见模型的性能，并发现大型语言模型在多语言机器翻译中具有一些新的工作方式。
XConST 是什么？它如何提升零样本翻译性能？
XConST 是跨语言一致性正则化（CrossConST）的一个版本，旨在弥合不同语言之间的表示差距并提高零样本翻译性能。在 ALMA 和 LLaMA-2 上的实验结果表明，该方法持续改善了翻译性能。
