PrExMe！大规模探索开源 LLM 用于机器翻译和摘要评估
内容提要
Eval4NLP 2023 共享任务探讨了机器翻译和摘要评估中的提示和分数提取。研究表明，基于大型语言模型（LLMs）的评估方法在自然语言生成中表现出色，尤其在总结任务中与人类评估的相关性高达0.477。实验提出了新颖的提示策略，展示了LLMs在多语言和鲁棒性评估中的潜力，推动了机器翻译的进步。
延伸解读
无微调下的评估表现
Eval4NLP 2023 共享任务要求参与者在无微调条件下开发评估方法。最佳系统的表现与使用更大模型开发的最新无参考度量标准（如 GEMBA 和 Comet-Kiwi-XXL）相当甚至更优，表明开源 LLM 在无需额外训练的情况下也能实现高质量的评估。
提示策略与解释性评估
研究探索了多种提示策略，包括零样本和少样本方法，并进行了小规模人类评估以检验 LLM 解释的可行性。在摘要任务中，最佳提示与人类评估的肯德尔相关性达到 0.477，显示了 LLM 在评估中的潜力，但相关性仍有提升空间。
意见摘要评估的突破
在 SUMMEVAL-OP 数据集上，使用 Op-I-Prompt 作为无参考指标，与人类判断的平均斯皮尔曼相关性达到 0.70，超过了之前所有方法。这是首次探索使用开源和闭源 LLM 作为意见摘要评估器，为评估意见摘要提供了有效替代方案。
鲁棒性与多语言评估
通过结合当前评估模型与提示性 LLM 的新范式，研究提出了一个新颖框架，在多个基准测试中取得最先进成果，并在 DSTC11 轨道 4 的鲁棒性和多语言任务中名列前茅，证明了提示性 LLM 在多语言和鲁棒性评估中的能力。
Q&A
Eval4NLP 2023 共享任务的主要目标是什么？
Eval4NLP 2023 共享任务旨在探索机器翻译和摘要评估中的提示和分数提取。
基于大型语言模型的评估方法在自然语言生成中表现如何？
基于大型语言模型的评估方法在自然语言生成中表现出色，尤其在总结任务中与人类评估的相关性高达0.477。
Op-I-Prompt 在评估意见摘要中的表现如何？
Op-I-Prompt 是评估意见摘要的良好替代方法，与人类判断的平均斯皮尔曼相关性达到0.70。
研究中提出了哪些新颖的提示策略？
研究提出了新颖的提示策略，展示了大型语言模型在多语言和鲁棒性评估中的潜力。
Eval4NLP 2023 会议上提出的框架有什么特点？
该框架结合了当前评估模型的优势与新建立的提示性大语言模型的范式，取得了最先进的成果。
大型语言模型在机器翻译中的应用效果如何？
研究发现，使用高质量的翻译记忆提示可以显著改善预先训练的 LLM 翻译器的结果，甚至与最新的 NMT 系统相媲美。
