通过滑动生成和自我一致性提升大型语言模型在摘要生成中的真实性
原文中文,约500字,阅读约需1分钟。发表于: 。大语言模型在文本摘要中存在召回问题,该研究提出了一种名为 SliSum 的新型摘要生成策略,通过将源文章划分为重叠窗口,利用大语言模型为窗口中的内容生成局部摘要,最终使用聚类和多数投票算法对所有局部摘要进行汇总,以提高摘要的忠实度。
本文介绍了使用大型语言模型(LLM)评估文本摘要中的实际一致性(FC)的研究。通过引入TreatFact数据集,作者对11个LLM进行了FC评估,并发现通过增加模型大小、扩展预训练数据和开发微调数据,可以提升开源LLM的性能。然而,现有的方法和基于LLM的评估器都无法捕捉到临床摘要中的实际不一致性,给FC评估带来了新的挑战。