科学摘要评估的反思：在面向因素的基准上建立可解释指标
内容提要
本文综述大语言模型评估摘要事实一致性的研究。TreatFact数据集表明现有方法和LLM评估器均难以捕捉临床摘要的不一致。研究提出Facet评估、GPTScore等方法，发现指令微调比模型规模更关键，适当提示可使LLM无需训练超越基线，但LLM仍存在将不一致摘要误判为高分的风险。
延伸解读
临床摘要事实一致性评估的独特挑战
文章指出，在临床摘要中，现有方法和基于LLM的评估器均难以捕捉事实不一致性。TreatFact数据集由领域专家标注，揭示了这一挑战。这表明临床领域对事实一致性要求极高，但当前自动评估工具在此场景下可靠性不足，需谨慎使用。
指令微调比模型规模更关键
研究发现，在零样本摘要能力上，指令微调比模型规模更重要。这意味着，即使模型参数较少，经过指令微调也能获得较好的摘要生成效果。对于资源有限的研究者，优先考虑指令微调可能是更高效的策略。
LLM评估器的潜在风险：误判不一致摘要
文章提到，LLM存在将不一致摘要误判为高分的风险。例如，FIB基准显示，当不一致内容出现在文档中时，LLM可能赋予其比一致摘要更高的分数。因此，依赖LLM进行事实一致性评估时，需警惕这种偏差，结合人工审核。
提示设计可提升LLM评估性能
通过适当设计的提示，LLM无需训练即可在事实一致性检测上超越强训练基线平均2.8%。这表明提示工程在提升LLM评估能力方面具有潜力，但需针对具体任务精心设计，以发挥最大效果。
Q&A
TreatFact数据集是什么？它揭示了哪些问题？
TreatFact是一个包含由领域专家进行事实一致性（FC）注释的LLM生成的临床文本摘要的数据集。实验表明，先前的方法和基于LLM的评估器都无法捕捉到临床摘要中的实际不一致性，给FC评估提出了新的挑战。
在评估摘要事实一致性时，影响LLM性能的关键因素是什么？
研究发现，指令微调比模型规模更关键。通过增加模型大小、扩展预训练数据和开发精心策划的微调数据，有潜力提升开源LLM的性能。
基于Facet的评估方法相比ROUGE有什么优势？
Facet-aware评估更好地与人类判断相关，能够实现细粒度评估和比较分析，并揭示了最先进的摘要方法的有价值的见解。
LLM在评估摘要事实一致性时存在哪些风险？
LLM存在将不一致摘要误判为高分的风险。例如，FIB基准测试表明，如果不一致的总结在文档中出现，LLM会赋予这些不一致的总结比事实上一致的总结更高的分数。
如何使LLM无需训练就能在事实一致性评估中超越基线？
通过适当设计的提示范式，可以使大型语言模型在无需训练的情况下解决事实一致性检测问题，平均超越强训练基线2.8%。
GPTScore和GPTRank在摘要评估中有什么作用？
GPTScore和GPTRank是两种LLM计分方式，用它们训练出来的较小的摘要模型，其性能可以与参考的LLM相媲美，且只需要很小的预算。
