WMT 2023举办了首届篇章级文学翻译共享任务，14个团队提交系统，通过自动和人工评估，进行了官方排名，并揭示了文学和篇章意识机器翻译的有趣发现。

该文研究了使用ACES Challenge Set作为评估标准对WMT 2023的分段级别指标进行基准测试，没有明显的优胜者，建议开发者构建来自不同设计家族的指标集合，并仔细确定多语言嵌入对机器翻译评估的影响。

本文总结了对WMT-2023测试套件的评估结果，重点关注翻译系统在翻译女性和男性性别以及生成性别包容性翻译的能力。结果显示，所有评估的机器翻译模型在生成具有包容性的语言形式方面都面临挑战。