Prometheus: 语言模型细粒度评估能力的引入

💡 原文中文,约200字,阅读约需1分钟。
📝

内容提要

该文介绍了基于GPT的翻译质量评估指标GEMBA,可用于有参照和无参照情况。研究了四个提示变体,并比较了两种方式下的性能表现,发现只能应用于GPT 3.5及以上的模型。在WMT22的Leaderboard中,GEMBA在三种语言对中表现出先进的性能。

🎯

关键要点

  • 介绍了基于GPT的翻译质量评估指标GEMBA
  • GEMBA可用于有参照和无参照的翻译质量评估
  • 研究了四个提示变体并比较了性能表现
  • GEMBA只能应用于GPT 3.5及以上的模型
  • 在WMT22的Leaderboard中,GEMBA在三种语言对中表现出先进的性能
➡️

继续阅读