超越基于参考度量的方法：分析数据到文本生成领域的开放式 LLM 行为
内容提要
该文综述多项研究，评估大语言模型作为文本评估器的可靠性：ChatGPT在摘要、简化等任务中优于其他模型，但自动指标得分偏低，人工评估显示参考标准质量较差；GPT-4能较一致地排序模型输出，但语法纠错任务一致性低。研究还提出CritiqueLLM等新评估模型，并指出数据污染、无参考评估风险及开源模型在标注任务中的竞争力。
延伸解读
自动指标与人工判断的落差
文章指出，ChatGPT在摘要、简化等任务上优于其他模型，但经典自动评估指标得分却低得多；同时人工评估员认为黄金参考指标的质量比最佳模型输出差。这提示读者，依赖自动指标或参考标准可能低估强模型的实际表现，甚至误导模型选择。在评估LLM生成文本时，需警惕参考标准本身的质量问题。
GPT-4作为评估器的任务差异
GPT-4能较一致地排序模型输出并与人类判断趋于一致，但在语法纠错任务中排名一致性较低。这说明LLM作为评估器的可靠性因任务而异，不能一概而论。读者在将GPT-4用于自动评估时，应针对具体任务验证其一致性，尤其对语法纠错等结构化任务保持谨慎。
无参考评估的潜力与风险
文章提到ChatGPT能有效从不同角度评估文本质量，其中生成数字评分的Explicit Score方法最有效可靠，但直接比较两个文本质量可能导致次优结果。同时，基于LLM的参考无关评估器在对话响应评估中存在风险。这提醒读者，无参考评估虽灵活，但方法设计（如评分vs比较）和场景适用性会影响可靠性。
开源模型在标注任务中的竞争力
研究比较开源LLM、ChatGPT和人工服务在文本标注任务中的表现，发现开源LLM在高效性、透明性、可再现性和数据保护方面具有竞争力，尽管ChatGPT在大多数任务中表现最好。这表明在特定任务中，开源模型可作为ChatGPT的可行替代，尤其当数据保护或可再现性优先时。
Q&A
ChatGPT在文本生成任务中的评估表现如何？
在摘要、简化和语法纠错等任务上，ChatGPT在大多数指标上始终优于其他流行模型，但使用经典自动评估指标时得分要低得多。人工评估还发现黄金参考指标的质量比最佳模型输出差得多。
GPT-4在排序模型输出时与人类判断的一致性如何？
GPT-4能够在特定任务变异性较小的情况下对模型输出进行排名，并与人类判断趋于一致，但在语法错误纠正任务中的排名一致性较低。
使用LLM进行无参考评估有哪些风险？
研究发现使用基于LLM的参考无关评估器评估对话响应存在风险，直接使用ChatGPT比较两个文本的质量可能导致次优结果，但利用ChatGPT生成数字评分的显式评分方法最有效可靠。
CritiqueLLM是什么？它的评估性能如何？
CritiqueLLM是一种新型批判生成模型，采用基于对话的提示方法用于高质量的参考/无参考评估数据。实验表明其评估性能可与GPT-4相媲美，尤其在系统级相关性上，在8个任务中有3个在无参考环境下胜过GPT-4，且生成的批评可作为可扩展反馈直接提高LLM的生成质量。
开源LLM在文本标注任务中与ChatGPT和人工服务相比有竞争力吗？
开源LLM在高效性、透明性、可再现性和数据保护方面具有竞争力，虽然ChatGPT在大多数任务中表现最好，但开源LLM在特定任务中也有较高的竞争潜力。
数据污染对LLM评估基准有什么影响？
通过检测数据污染并提出“Testset Slot Guessing”方法，研究发现商业化的LLM在评估基准中有明显的性能改进，呼吁在该领域使用更强大的评估方法和基准。
