辛普森悖论与翻译的准确性与流利性权衡
内容提要
该文汇总多项机器翻译研究：重新评估中英新闻翻译达人类水平的结论，指出评估设计缺陷；提出引入评估模块和一致性优化方法提升翻译质量；发现跨语言基准存在翻译不一致，对低资源语言影响更大；并探讨文档级评价及多语言模型事实知识一致性问题。
延伸解读
评估设计缺陷如何影响结论
文章指出，2018年Hassan等人的评估设计存在问题，导致其认为机器翻译在中英新闻翻译上达到人类水平的结论不准确。后续研究重新评估后，提出了改进建议。这提醒读者，在解读机器翻译评估结果时，需关注评估方法是否合理，避免被有缺陷的设计误导。
跨语言基准的翻译不一致性
研究发现，在XNLI等跨语言基准中，翻译不一致性对低资源语言的影响更大。通过零样本评估的性能差距可以识别这种不一致，且人工重新注释证实了翻译错误的存在。这意味着，依赖这些基准评估多语言模型时，低资源语言的表现可能被低估或误判。
文档级评价的必要性
在文档级翻译评估中，人类对独立句子的评价更偏向人类翻译而非机器翻译，这强调了机器翻译需要向文档级评价迈进。这表明，仅靠句子级评估可能无法全面反映翻译质量，文档级评价能更好地捕捉上下文连贯性。
多语言模型的事实知识一致性
调查显示，多语言模型（如mBERT和XLM-R）在英语下的事实知识预测一致性与其单语言模型相似，但在其他45种语言下一致性较低。这提示读者，多语言模型在不同语言间的知识一致性存在差异，可能影响其在非英语任务中的可靠性。
Q&A
辛普森悖论在机器翻译评估中是如何体现的？
文章指出，2018年Hassan等人的评估设计存在缺陷，导致其认为机器翻译在中文到英文新闻翻译上已达到人类水平的结论不准确。这种评估设计问题可能涉及辛普森悖论，即整体评估结果与分组评估结果相反，从而错误地得出机器翻译与人工翻译同等水平的结论。
如何提高神经机器翻译的准确性和流利性？
文章提到一种引入评估模块来指导预测结果分布的神经机器翻译方法，从流畅性和忠实度角度引导模型生成具有连接性的短语，实验表明该方法能显著提高翻译质量。此外，还有研究通过反转和增强技术提高翻译模型性能，并在去除语言偏差和提高流畅度的基础上进行优化。
跨语言基准测试中翻译不一致性对低资源语言有什么影响？
研究发现，在XNLI等跨语言基准中，翻译不一致性对低资源语言的影响不成比例地大。通过零样本评估中人工翻译和机器翻译目标文本之间的性能差距可以识别这种不一致性，差距较大表明存在翻译错误。对印地语和乌尔都语的人工重新注释证实了翻译错误的存在，且这些实例与原始英文标签一致性较差。
文档级翻译评估与句子级评估有何不同？
在文档级翻译评估中，人类对于独立句子的评价更偏向于人类翻译而非机器翻译，这强调了机器翻译向文档级评价迈进的必要性。文档级评估需要考虑句子间的连贯性和一致性，而不仅仅是单个句子的质量。
多语言模型在不同语言下的事实知识一致性如何？
研究发现，多语言语言模型（如mBERT和XLM-R）在英语下的事实知识预测一致性与其单语言模型相似，但在其他45种语言下，这些模型的一致性程度较低。这表明多语言模型在非英语语言中的事实知识预测存在不一致问题。
在语音转写和翻译任务中，端到端模型与传统串联式方法相比有何优劣？
研究发现，直接模型不适用于语音转写和翻译任务，但采用耦合推理过程的端到端模型能够实现强一致性。此外，研究引入了直接优化一致性的简单技术，并分析了一致性、转写准确性和翻译准确性之间的权衡。
