通过相似性搜索改善低资源机器翻译的上下文示例选择
内容提要
本研究探讨了上下文例句对机器翻译质量的影响，提出了多种优化方法，包括基于回归函数和语法的示例选择，显著提高了翻译质量。通过上下文学习和适配器微调，改善了大型语言模型的性能，解决了少样本学习问题。实验结果表明，长期一致性和相似度测量对翻译任务表现至关重要。
延伸解读
示例选择方法的演进与效果
文章梳理了上下文示例选择方法的演进：从2022年发现单个优化例句即可提升翻译质量，到2023年提出基于回归函数的方法平均提高超过2.5个COMET点，再到2024年基于语法的选择方法在11个翻译方向取得最高COMET得分。这些方法逐步结合更多因素，如句法相似性、词级和语法级标准，显著提升了机器翻译的上下文学习效果。
上下文感知提示与适配器微调
针对大型语言模型，文章介绍了上下文感知提示方法（CAP）和适配器微调。CAP通过多级注意力选择相关句子并生成摘要，检索最相似句子作为演示，在零代词翻译和文学翻译任务中特别有效。适配器微调则减少训练参数量，解决少样本学习和过度生成问题，同时保持微调效果。两者都旨在提升翻译的准确性和连贯性。
相似度测量的关键因素
文章分析指出，相似度测量有两个重要因素：整合任务无关的文本相似度能增强泛化能力，而结合任务特定标签则提高特定任务性能。基于此，作者提出了两种简化示例选择方法，分别适应任务无关和任务特定需求，并消除了昂贵的大型语言模型推理开销。这表明平衡泛化与特化是优化示例选择的关键。
Q&A
上下文例句如何影响机器翻译质量？
上下文例句的属性对翻译质量有显著影响，优化的例句可以提升翻译效果。
什么是基于回归函数的实例选择方法？
基于回归函数的实例选择方法结合多种因素，平均提高翻译质量超过2.5个COMET点。
如何通过语法增强机器翻译的上下文学习？
通过计算依存树之间的句法相似性，基于语法的上下文示例选择方法有效增强上下文学习。
上下文感知提示方法（CAP）是什么？
CAP结合多级注意力，选择与当前句子最相关的句子作为上下文，生成更准确的翻译。
适配器微调如何改善大型语言模型的性能？
适配器微调可以减少训练参数量，同时保持微调效果，解决少样本学习和过度生成的问题。
长期一致性在翻译任务中有什么重要性？
长期一致性被认为是下游翻译任务表现优异的良好指标，能够提升翻译质量。
