PRE: 基于同行评审的大型语言模型评估器
内容提要
大型语言模型评估是当前研究热点。本文综述多种评估方法，比较标准与评分系统，提出新数据集LLMEval并评估20个模型，得出10项结论。研究还发现LLM评估器存在多语言偏差和系统偏差，提出校准策略及FairEval工具包，并总结推理、知识、可靠性、安全性四大核心能力，为未来评估提供方向。
延伸解读
LLM评估器的偏差与校准
文章指出，基于大型语言模型的评估器存在多语言偏差和系统偏差。多语言偏差意味着评估器可能在不同语言上表现不一致，需要使用本地语言数据集进行校准。系统偏差则体现在评估范式本身，作者提出了两种校准策略来缓解，并集成了FairEval工具包。这些发现提醒研究者和开发者，直接使用LLM作为评判器可能引入不公，需谨慎对待评估结果。
评估方法中的细节影响
文章分析了LLM评估和G-Eval等方法，发现评估过程中的细节会改变LLM评分与人类评分的相关性。例如，G-Eval中使用的自动思维链并不总是提高一致性，强制LLM仅输出数字评分也不理想。相反，要求LLM解释其评分能持续改善与人类评分的相关性。这表明设计评估提示时，应重视解释性输出，而非简单追求自动化。
核心能力框架与未来方向
文章总结了LLM的四个核心能力：推理、知识、可靠性和安全性，并在此结构下合并相似任务，便于新任务加入。这一框架为系统化评估提供了基础。同时，文章基于对20个模型的评估得出10项结论，并提出了未来评估方向的建议。读者可关注这些能力维度，以更全面地衡量模型表现，而非仅依赖单一评分。
Q&A
LLMEval数据集是什么？它评估了多少个模型？
LLMEval是一个新提出的数据集，用于评估大型语言模型。该研究使用LLMEval对20个大型语言模型进行了评估，并得出了10个结论。
大型语言模型作为评估器存在哪些偏差？如何解决？
LLM评估器存在多语言偏差和系统偏差。针对系统偏差，作者提出了两种校准策略，并集成到FairEval工具包中，成功缓解了评估偏差，使结果更接近人类判断。
LLM评估中，要求模型解释评分有什么好处？
要求LLM解释其自身评分会持续改善ChatGPT与人类评分之间的相关性，并在两个元评估数据集上推动了最新技术的相关性。
LLM评估涵盖哪四个核心能力？
LLM评估涵盖四个核心能力：推理、知识、可靠性和安全性。在这个能力结构下，相似的任务被合并以反映相应的能力。
GPT-4在辅助论文审核中的表现如何？
使用GPT-4辅助论文审核的研究发现，它可以有效识别大部分错误，但在挑选更好的论文时还存在一定误差。
基于LLM的评估框架如何模拟生成文本的评估？
该框架基于角色扮演者提示机制模拟生成文本的客观和主观维度，并引入上下文提示机制生成动态角色扮演者配置文件，通过多角色扮演者提示技术集成多个评估结果。
