高质量参考翻译可提高自动机器翻译度量与人类相关性，通过取平均值改善所有度量效果。共享任务评估者可创建参考翻译以最大化度量成功。

本文研究了自动机器翻译度量在句子级别中区分好的翻译和坏的翻译的可靠性，并在三个下游跨语言任务上评估了最广泛使用的MT度量的段落级别性能。作者建议将来的MT指标应该被设计成产生错误标签而不是得分，以便于外在评估。

本文研究了自动机器翻译度量在句子级别中区分好坏翻译的可靠性，并研究了在大平台中放置机器翻译组件的成功率检测中MT度量的有用性。通过评估最广泛使用的MT度量在三个跨语言任务上的性能，发现度量标准与下游结果的相关性微不足道。神经度量提供的分数大多数不可解释。分析表明，将来的MT指标应设计成产生错误标签而不是得分，以便于外在评估。