非流利的合成目标语言数据提高神经机器翻译
内容提要
本文综述合成数据在神经机器翻译中的应用，包括伪平行语料、反向翻译、数据增强和自训练等方法。研究表明，合成数据能显著提升低资源语言翻译质量，最高提升14.5 BLEU，并在WMT英德测试集上创下35 BLEU纪录，但真实平行数据仍是最优选择。
延伸解读
合成数据为何有效：模型容量与优化视角
文章指出，使用大型预训练模型生成合成目标数据能提升低资源机器翻译性能，甚至优于真实数据训练。原因可归因于模型参数数量限制和优化效果的提高。这意味着在模型容量有限时，合成数据可能提供更有效的训练信号，但这一优势并非绝对，需结合具体模型和任务评估。
反向翻译的优化策略：关注高损失词与相似句子
研究表明，在反向翻译中，预测损失高的单词最能从合成数据中获益。采用基于预测损失和词频的采样策略，以及选取相似背景句子的策略，比随机采样在WMT新闻翻译任务中分别提升1.7和1.2 BLEU。这提示实践者可以针对性设计采样方法，而非简单使用全部合成数据。
合成数据的局限：真实平行数据仍不可替代
尽管合成数据在低资源场景下能带来最高14.5 BLEU的提升，并在WMT英德测试集上创下35 BLEU纪录，但文章明确提到，目前最佳结果仍然来自于真实的平行数据。合成数据可作为补充，但无法完全取代真实数据，尤其在追求最高翻译质量时。
Q&A
合成数据在神经机器翻译中主要有哪些应用方法？
合成数据在神经机器翻译中的应用方法包括伪平行语料、反向翻译、数据增强和自训练等。
合成数据对低资源语言翻译质量能提升多少？
合成数据能显著提升低资源语言翻译质量，最高可提升14.5 BLEU分数（例如从英语到乌克兰语）。
在WMT英德测试集上，使用合成数据取得了怎样的成绩？
通过将反向翻译方法扩展到数亿条单语数据，在WMT'14英德测试集上获得了35 BLEU的最新记录。
反向翻译中哪种方法生成合成源句子效果最好？
使用采样或噪声束搜索的反向翻译方法效果最好，其训练信号强于束搜索或贪婪搜索的数据。
合成数据能否完全替代真实平行数据？
不能。尽管合成数据能提升翻译质量，但目前最佳结果仍然来自于真实的平行数据。
哪些单词最能从合成数据的添加中获益？
在训练期间预测损失高的单词最能从合成数据的添加中获益。
