FENICE: 基于自然语言推理和主张提取的摘要真实性评估
内容提要
本文综述自动摘要事实一致性评估研究，涵盖TreatFact临床数据集、FactPICO医学基准、InFusE推理评估、DeFacto信息反馈、GO FIGURE框架、ClozE填空模型及大模型评估方法，指出开源模型仍落后，现有指标与专家判断相关性差，临床摘要不一致性难以捕捉。
延伸解读
临床摘要事实性评估的独特挑战
文章指出，临床摘要的事实不一致性难以被现有方法捕捉。TreatFact数据集包含专家标注的LLM生成临床摘要，实验表明先前方法和基于LLM的评估器均无法有效识别其中的不一致。这提示在医疗等高风险领域，自动摘要的事实性评估需要更专业的领域适配，通用指标可能失效。
开源模型与专有模型的差距及提升路径
在事实一致性评估任务上，专有模型表现主导，开源LLM仍落后。但研究分析发现，通过增加模型规模、扩展预训练数据以及开发精心策划的微调数据，开源LLM的性能有提升潜力。这表明开源社区可通过数据与规模优化缩小差距，而非仅依赖模型架构改进。
现有评估指标与专家判断的相关性局限
FactPICO基准评估显示，现有度量方法与专家判断在实例级别上相关性较差。GO FIGURE框架也指出，QA指标虽优于标准指标，但性能高度依赖问题生成方式。这意味着自动评估指标尚不能完全替代专家判断，尤其在需要细致理解的医学摘要中，指标可靠性仍需谨慎对待。
方法创新与效率平衡的探索
文章综述了多种评估方法：InFusE通过可变前提和简化假设提升NLI评估性能；ClozE利用填空模型将评估时间减少近96%，同时保持可解释性和性能；DeFacto通过信息反馈改善生成质量。这些工作表明，事实一致性评估正朝着更高效、可解释的方向发展，但跨领域泛化仍是挑战。
Q&A
TreatFact数据集是什么？它主要用来做什么？
TreatFact是一个包含由领域专家进行事实一致性（FC）注释的LLM生成的临床文本摘要的数据集，旨在填补LLM在总结中评估FC效果尚未充分探索的空白。
FactPICO基准评估了哪些模型生成的摘要？
FactPICO评估了基于LLMs的三种纯文本摘要生成模型（GPT-4、Llama-2和Alpaca）生成的345个RCT摘要的事实性。
InFusE方法如何评估摘要可信度？
InFusE通过使用可变的前提大小并将摘要句子简化为更短的假设，基于自然语言推理来分析摘要可信度评估，并在不同摘要任务中取得了卓越性能。
ClozE方法相比QA_metrics有什么优势？
ClozE采用基于掩码语言模型（MLM）实例化的填空模型来评估事实一致性，实验表明它相对于QA_metrics可以将评估时间减少近96%，同时保持可解释性和性能。
GO FIGURE框架评估了哪些指标？结果如何？
GO FIGURE框架针对10种不同的事实准确性评价指标进行了评估，结果表明QA指标相较于标准指标具有更强的性能，但性能仍高度依赖问题的生成方式。
当前开源LLM在事实一致性评估上的表现如何？
研究发现，尽管专有模型在任务上占主导地位，但开源LLM仍然落后。然而，通过增加模型大小、扩展预训练数据和开发精心策划的微调数据，有潜力提升开源LLM的性能。
