BriefGPT - AI 论文速递 · 2024-11-21T00:00:00Z A Framework for Evaluating Large Language Models Under Task Indeterminacy 💡 原文英文，约100词，阅读约需1分钟。 📝 内容提要 本研究探讨了大型语言模型（LLM）评估中的单一正确响应假设，指出在任务模糊或歧义时可能存在多种正确答案。提出的框架分析了任务规范、人工评分与LLM响应之间的关系，实验结果表明传统评估方法可能低估LLM的真实表现，为评估方法提供了新视角。 🏷️ 标签 framework models 人工评分 任务模糊 大型语言模型 正确响应 评估 阅读原文 生成长图 分享链接 已复制链接
