机器翻译评估研究综述指出，ACES挑战集测试显示WMT 2023分段指标无明显优胜者，性能变化不确定。建议开发者组合不同设计家族的指标，注重源信息、减少表面重叠依赖，并明确多语言嵌入影响。研究还发现现有指标与下游任务相关性微弱，分数难以解释，未来应输出错误标签而非得分。

WMT 2023举办了首届篇章级文学翻译共享任务，14个团队提交系统，通过自动和人工评估，进行了官方排名，并揭示了文学和篇章意识机器翻译的有趣发现。

该文研究了使用ACES Challenge Set作为评估标准对WMT 2023的分段级别指标进行基准测试，没有明显的优胜者，建议开发者构建来自不同设计家族的指标集合，并仔细确定多语言嵌入对机器翻译评估的影响。

本文总结了对WMT-2023测试套件的评估结果，重点关注翻译系统在翻译女性和男性性别以及生成性别包容性翻译的能力。结果显示，所有评估的机器翻译模型在生成具有包容性的语言形式方面都面临挑战。