机器翻译自动评估指标中参考翻译的质量和数量
内容提要
本文综述机器翻译质量评估研究，指出改进参考文献收集与同义词改写可提升自动指标与人工评估的相关性；自动指标单独使用易致误判，需结合人工判断；提出基于MQM错误分析和预训练模型的评估方法，分层抽样可降低标注成本，神经度量训练增强鲁棒性；并指出既有评估设计缺陷，需改进评估协议。
延伸解读
参考翻译的改进如何提升自动指标可靠性
文章指出，改进参考文献的收集方法以及采用基于语言学家的同义词改写任务，能够提高自动评估指标与人工判断的相关性。传统参考文献的单调性问题可通过改写任务缓解，该方法在WMT 2019英德翻译以及后翻译和APE增强的机器翻译输出上均表现良好。这表明参考翻译的质量和多样性直接影响自动指标的有效性，单纯依赖原始参考可能限制评估的准确性。
自动指标单独使用的风险与人工判断的必要性
研究强调，将自动指标作为唯一评判标准可能导致错误决策，需要依赖人工判断作为参考。自动度量对用于评估的翻译非常敏感，尤其是存在异常值时常导致关于指标作用的错误结论。此外，现有判断度量方法可能模拟出与人工判定相比的2类误差，因此需要改进度量评估和系统性能评估协议，避免因单一自动指标而误判系统质量。
降低标注成本与增强度量鲁棒性的实践方法
文章提出采用分层抽样和控制变量等技术，结合文档成员身份信息和自动评估指标，在固定标注预算下获得更高准确性，相比纯随机抽样平均误差降低高达20%。同时，经过人类评估训练的神经度量标准（如Prism+FT）对机器翻译参考文献的鲁棒性更强，表明度量训练的效果超出改善整体相关性的预期，为实际评估提供了可操作的成本控制与鲁棒性提升思路。
既有评估设计缺陷与协议改进方向
文章指出2018年Hassan等人的评估设计存在问题，导致人工翻译和机器翻译有同等水平的结论不准确，因此需要重新审视现有评估方法。基于MQM错误分析和预训练模型的评估方法在WMT 2020挑战赛中显示，人工翻译结果被明显偏爱，但自动指标基于预训练嵌入的表现也足以胜过人工众包评估。这提示评估协议需改进，以更可靠地反映翻译质量差异。
Q&A
如何提高机器翻译自动评估指标与人工评估的相关性？
可以通过改进参考文献的收集方法，以及使用基于语言学家的同义词改写任务来提升相关性。研究表明，使用同义词组能更好地反映人类判断，并在系统开发中产生显著改进。
为什么不能单独依赖自动指标来评估机器翻译质量？
因为使用自动指标作为唯一评判标准可能导致错误决策，需要依赖人工判断作为参考。此外，现有判断度量方法对用于评估的翻译非常敏感，尤其在存在异常值的情况下，常会导致关于指标作用的错误结论。
基于MQM错误分析和预训练模型的评估方法效果如何？
该方法在WMT 2020挑战赛的两个语言对评估中，结果与WMT众包评估不同：人工翻译结果被明显偏爱，但基于预训练嵌入的自动评估指标表现足以胜过人工众包评估。该方法为无需参考标准的评估提供了可接受的精度，但也存在一定局限性。
如何降低机器翻译人工评估的标注成本？
可以采用分层抽样和控制变量等技术，结合文档成员身份信息和自动评估指标，在固定标注预算下获得更高准确性。在测试集上，相比纯随机抽样，平均误差降低了高达20%，且该技术易于实现并适用于类似结构的问题。
神经度量标准训练对机器翻译评估的鲁棒性有何影响？
经过人类评估训练的神经度量标准（如Prism+FT）对机器翻译参考文献的鲁棒性更强，而参考文献问题在MT评估中一直很棘手。这表明度量标准训练的效果超出了改善与人类判断整体相关性的预期。
现有的机器翻译评估设计存在哪些问题？
研究发现2018年Hassan等人的评估设计有问题，导致其认为人工翻译和机器翻译有同等水平的结论不准确。因此需要重新审视现有评估方法，并改进度量评估和系统性能评估协议。
