BriefGPT - AI 论文速递 · 2024-12-12T00:00:00Z

理解大型语言模型评估在扰动下的鲁棒性

📝

内容提要

本文分析了传统评估指标在生成文本质量评估中的不足，特别是在缺乏单一真实值的情况下。研究表明，大型语言模型（如Google Gemini 1）在自动评估方面具有潜力，但与人类评估者的一致性较低，鲁棒性不足，亟需改进。

🏷️

标签

一致性 大型语言模型 生成文本 评估指标 鲁棒性