FABLES：评估长篇书籍摘要的忠实性与内容选择
内容提要
本研究提出了长文本自动摘要的人工评估指南LongEval，旨在提高评估信度并减少评估者工作量。调研162篇论文发现，神经文本生成模型在生成摘要时容易产生虚假内容。研究还探索了大型语言模型在评估摘要事实一致性方面的应用，提出了新指标FFLM和FIB基准，发现现有模型在一致性评分上存在问题。最终，强调了改进评估方法的重要性，以提升摘要的可信度和准确性。
延伸解读
长文本摘要评估的挑战与LongEval的应对
长文本自动摘要的人工评估常因评估者间差异大、工作量大而难以保证信度。LongEval指南通过细化评估粒度（如句子级别）来降低评估者间的分歧，同时兼顾减少工作量和促进人工与自动化对齐。这为长文本摘要的评估提供了可操作的方法，有助于提升评估结果的可靠性。
神经摘要模型易产生虚假内容
调研162篇论文发现，神经文本生成模型在生成摘要时容易产生虚假内容，即与源文档不符的信息。这不仅影响摘要的忠实性，还可能传播错误信息。因此，评估摘要的事实一致性至关重要，需要开发更有效的自动评估指标来检测和减少此类问题。
大语言模型评估事实一致性的潜力与局限
研究探索了利用大语言模型评估摘要事实一致性，提出了FFLM指标和FIB基准。FFLM在参数更少的情况下，在不一致性检测和忠实度评分上优于ChatGPT。然而，FIB基准测试显示，现有大语言模型在评分时存在偏差：当不一致的总结在文档中出现时，模型可能赋予其比一致总结更高的分数。这表明大语言模型在事实一致性评估上仍需改进。
评估方法改进对摘要可信度的重要性
自动摘要与源文档的不一致可能导致错误信息或风险。现有事实一致性指标在性能、效率和可解释性上存在局限。研究强调，改进评估方法对于提升摘要的可信度和准确性至关重要。通过更精细的评估指南和更可靠的自动指标，可以推动摘要技术向更忠实、更可信的方向发展。
Q&A
LongEval评估指南的主要目的是什么？
LongEval旨在提高长文本自动摘要的评估信度并减少评估者的工作量。
神经文本生成模型在生成摘要时存在哪些问题？
神经文本生成模型容易产生虚假内容，导致生成的摘要不准确。
FFLM和FIB基准是什么？
FFLM是评估生成模型忠实度的新指标，FIB是用于评估摘要事实一致性的基准。
现有模型在一致性评分上存在哪些问题？
现有模型在不一致的总结中可能给予更高的分数，导致评估不准确。
如何提高摘要的可信度和准确性？
通过改进评估方法，可以提升摘要的可信度和准确性。
大型语言模型在评估摘要方面的应用效果如何？
大型语言模型在评估摘要事实一致性方面表现出显著潜力，但效果尚未充分探索。
