Prometheus: 语言模型细粒度评估能力的引入
原文中文,约200字,阅读约需1分钟。
📝
内容提要
该文介绍了基于GPT的翻译质量评估指标GEMBA,可用于有参照和无参照情况。研究了四个提示变体,并比较了两种方式下的性能表现,发现只能应用于GPT 3.5及以上的模型。在WMT22的Leaderboard中,GEMBA在三种语言对中表现出先进的性能。
🎯
关键要点
-
介绍了基于GPT的翻译质量评估指标GEMBA
-
GEMBA可用于有参照和无参照的翻译质量评估
-
研究了四个提示变体并比较了性能表现
-
GEMBA只能应用于GPT 3.5及以上的模型
-
在WMT22的Leaderboard中,GEMBA在三种语言对中表现出先进的性能
🏷️