更加注意源语言上下文：减轻大型语言模型带来的不忠译
内容提要
本文探讨大型语言模型在知识获取和机器翻译评估中的应用，强调通过设计提示和反事实演示提高上下文真实性。研究表明，参考信息显著提升评估准确性，而源语言信息有时会产生负面影响。此外，提出了改进翻译质量的算法和框架，分析了源上下文与目标上下文对翻译性能的影响。
延伸解读
源语言信息在评估中的双刃剑效应
文章发现，在机器翻译评估任务中，提供参考信息能显著提升大型语言模型的评估准确性，但源语言信息有时反而会降低性能，表明模型跨语言能力不足。这提示我们，在实际评估中应谨慎使用源语言输入，优先依赖参考译文，并关注模型对跨语言信息的处理能力。
微调算法对翻译质量的提升
通过两阶段微调算法，大型语言模型遵循翻译指示的能力得到改进，错位翻译比率平均降低53.3%，翻译质量平均提升5.7 SacreBLEU和16.4 BLEURT。这表明针对翻译方向等指示的微调能有效提升模型输出质量，为实际应用提供了可量化的优化方向。
上下文学习中的关键信号：目标端分布
研究发现，源端扰动对翻译质量影响较小，而目标端扰动会极大降低翻译质量，说明输出文本分布在上下文学习翻译中提供最重要的学习信号。基于此提出的Zero-Shot-Context方法能自动在零样本提示中添加此信号，提升GPT-3的零样本翻译性能，使其与少样本提示竞争。
抑制幻觉与目标脱靶翻译的新方法
针对低资源语言和大规模多语种模型中的幻觉和目标脱靶翻译问题，文章提出修改解码目标的方法，无需重新训练或外部模型。实验在57个翻译方向上平均提升1.7和1.4个chrF2分数，并展示了使用Llama 2聊天模型抑制目标脱靶翻译的可行性，为LLM机器翻译提供了实用解决方案。
Q&A
大型语言模型如何提高翻译的上下文真实性？
大型语言模型通过设计启示策略，如意见为基础的提示和反事实演示，有效提高上下文的真实性。
源语言信息对翻译评估的影响是什么？
研究表明，源语言信息有时会产生负面影响，表明在使用大型语言模型评估翻译时缺乏跨语言能力。
如何通过算法改善大型语言模型的翻译质量？
通过两阶段微调算法，改善了大型语言模型遵循翻译指示的能力，降低了错位翻译比率，提高了翻译质量。
Zero-Shot-Context 方法的作用是什么？
Zero-Shot-Context 方法提高了 GPT-3 的零样本翻译性能，使其与少样本提示的翻译性能竞争。
如何优化翻译模型以提高机器翻译性能？
通过使用源上下文信息优化翻译模型，并扩展目标上下文信息的应用，可以提高机器翻译性能。
xLLM 框架如何提高生成解释的忠实度？
xLLM 框架通过评估器和迭代优化过程来最大化生成解释的忠实度分数，实验证明其有效性。
