WMT24 通用 MT 系统和 LLMs 初步排名
原文中文，约1600字，阅读约需4分钟。
📝
内容提要
本文介绍了第七届机器翻译会议的自动评估任务，评估了185种翻译系统，探讨了不同语言对的表现。研究表明，基于大型语言模型的评估方法在文本摘要和法律翻译中表现优越，强调了人工评估的重要性，并提出了改进机器翻译质量的建议。
🔎
延伸解读
自动评估指标：互补而非替代
文章指出，chrF、BLEU 和 COMET 等自动度量标准各有局限，但可以相互补充，以减轻解释性和准确性方面的限制。这意味着在评估机器翻译系统时，不应依赖单一指标，而应结合多个指标来获得更全面的认识。同时，这些指标也凸显了当前最先进机器翻译系统的一些局限性，提示研究者和开发者需谨慎解读自动评估结果。
LLM 评估：接近人工，但需谨慎
基于大型语言模型的评估方法在文本摘要任务中表现优越，其结果与人工评估接近，且比常用自动度量方法更一致。这表明 LLM 在自动评估领域具有潜力，但文章也强调人工评估在机器翻译质量评估中的重要性。因此，在实际应用中，LLM 评估可作为辅助手段，但不应完全取代人工判断，尤其是在需要高准确性的场景中。
法律翻译：LLM 的潜力与人工评估的必要性
研究表明，在法律翻译中，尽管谷歌翻译在自动评估指标上通常优于 LLM，但人工评估员认为 LLM（尤其是 GPT-4）在产生上下文足够且流畅的翻译方面略优或相当。这揭示了 LLM 在处理专业法律术语和背景方面的潜力，同时突出了人工评估方法在评估机器翻译质量方面的重要性。文章呼吁重新评估传统的自动评估方法，以更好地捕捉 LLM 生成翻译的细微差别。
❓
Q&A
第七届机器翻译会议评估了多少种翻译系统？
评估了185种翻译系统。
基于大型语言模型的评估方法在文本摘要中表现如何？
其结果接近人工评估，并且比常用的自动度量方法更一致。
LLMs在法律翻译中表现如何？
LLMs，特别是GPT-4，在上下文流畅性方面优于传统系统。
文章中提到的自动评估标准有哪些？
自动评估标准包括chrF、BLEU和COMET。
为什么强调人工评估在机器翻译质量评估中的重要性？
人工评估能够更好地捕捉LLMs生成翻译的细微差别。
研究中提到的机器翻译系统的局限性是什么？
当前最先进的机器翻译系统在解释性和准确性方面存在限制。
🏷️
