通过混合指令提升大型语言模型的文档级翻译
内容提要
本文综述大语言模型在文档级机器翻译中的适应与性能，涵盖提示策略、精细调优、低秩适配、同传翻译及多语种迁移等研究。部分专用模型性能可超GPT-4，文档级上下文建模与整体翻译优于逐句翻译，但仍存在关键错误与偏离翻译问题。
延伸解读
文档级翻译优于逐句翻译，但关键错误仍存
文章指出，让GPT-3.5从整体上翻译文学段落比逐句翻译效果更好，说明文档级上下文建模能提升翻译连贯性。然而，人工评估也发现大语言模型在翻译时仍存在关键性错误，这意味着整体翻译虽好，但准确性风险并未消除，读者需关注具体错误类型。
专用模型可超GPT-4，但偏离翻译问题待解
部分专用模型在文档级翻译任务上性能甚至超过GPT-4，表明针对翻译任务精细调优的模型仍有优势。但文章同时强调，这些模型仍面临偏离翻译问题的挑战，即译文可能偏离源文内容。这提示读者，高评分未必等于高保真，实际应用中需警惕偏离现象。
低秩适配与混合策略提升效率与质量
文章提到借鉴低秩适配器微调方法，在句子和文档级别度量上取得显著改进，并研究了利用人工修正减少后续编辑次数的实际场景。此外，同传翻译中引入混合策略，在完整和前缀句子混合训练上进行监督微调，实现了性能提升。这些方法兼顾了计算效率与翻译质量。
多语种迁移与零样本上下文转移的启示
研究显示，对多语种预训练模型XGLM-7B微调并给出指示，能展现较强翻译能力，其效果依赖于对翻译指令的理解和语言间对齐。零样本情况下，文档级翻译可视为迁移学习问题，使用更多教师语言和适当数据平衡有助于提高转移质量。这为低资源语言文档级翻译提供了可行路径。
Q&A
大型语言模型在文档级机器翻译中的表现如何？
部分专用模型的翻译性能甚至超过GPT-4，文档级上下文建模与整体翻译优于逐句翻译，但仍存在关键错误与偏离翻译问题。
有哪些方法可以提升大语言模型的文档级翻译效果？
研究涉及提示策略、精细调优、低秩适配器微调、混合策略（用于同传翻译）以及基于大语言模型的语言模型融合等方法。
文档级翻译相比逐句翻译有什么优势？
文档级上下文建模与整体翻译优于逐句翻译，例如让GPT-3.5从整体上翻译文学段落比逐句翻译更好。
大语言模型在文档级翻译中面临哪些挑战？
仍存在关键性错误与偏离翻译问题，话语建模也存在挑战。
如何将文档级上下文建模能力迁移到只有句子级数据的学生语言？
首次将文档级翻译视为迁移学习问题，使用基于简单连接的DocNMT，探索了3个因素对转移的影响；实验表明使用更多教师语言和适当的数据平衡有助于提高转移质量。
大型语言模型在同传机器翻译中能达到什么水平？
通过引入混合策略解决训练推理不匹配问题，并在完整和前缀句子的混合训练上进行监督微调，大型语言模型可以在翻译质量和延迟方面达到与专用同传机器翻译模型相当的水平。
