基于精细化自然语言推理的多样化摘要任务忠实性评估
内容提要
本文综述对话摘要忠实度研究，利用自然语言推理模型检测事实不一致，提出SummaCConv、FFLM、T0-Score等评估方法，并构建FFCI细粒度评估框架和LongEval人工评估指南，在DialogSum、SAMSum等数据集上验证有效性。
延伸解读
对话摘要忠实度评估的挑战
文章指出，对于绝大部分忠实度度量方法，在对话数据上的表现与人类判断的相关性较差。这意味着常用的自动评估指标可能无法准确反映对话摘要的事实一致性，读者需谨慎依赖这些指标。
提升忠实度评估性能的技术手段
为了提高忠实度度量在对话摘要任务上的性能，文章采用了在领域内数据集上微调（fine-tuning on in-domain dataset）和对负样本进行非似然训练（unlikelihood training on negative samples）等技术，并提出了T0-Score度量方法，在多个领域上稳定提高了评价性能。
长文本摘要人工评估的优化方向
针对长文本自动摘要人工评估困难的问题，文章提出的LongEval人工评估指南强调，在句子级别等细粒度上进行评估能够显著降低评估者之间的差异，这为设计更可靠的人工评估方案提供了具体方向。
Q&A
SummaCConv 是什么？它在摘要一致性检测上表现如何？
SummaCConv 是一种高效轻量级方法，将文档划分为句子单位并在句子对之间聚合分数，使自然语言推理（NLI）模型能成功应用于不一致性检测。在 SummaC 基准数据集上，它以 74.4% 的平衡准确性获得最先进结果，比以前的工作提高了 5 个百分点。
FFCI 细粒度摘要评估框架包括哪些维度？
FFCI 细粒度摘要评估框架包括忠诚度、重点、覆盖率和句间连贯性等四个方面。
T0-Score 是什么？它如何提升对话摘要忠实度评估？
T0-Score 是一种度量方法，通过采用 fine-tuning on in-domain dataset 和 unlikelihood training on negative samples 等技术，在多个领域上均能稳定提高评价性能。
LongEval 人工评估指南针对什么问题？它有什么发现？
LongEval 针对长文本自动摘要难以进行人工评估的问题，提出了一种人工评估指南，包括如何实现准确的信度得分、减少评估者工作量以及人工与自动化对齐等方面的考虑。通过在两个不同领域的长文本摘要数据集上进行注释研究，发现在精细度方面（如句子级别）能够显著降低评估者之间的差异。
FFLM 指标如何评估生成模型的忠实度？与 ChatGPT 相比有何优势？
FFLM 结合基于概率变化的方法评估生成模型的忠实度，相比于强基准模型 ChatGPT 拥有更少的参数，并在不一致性检测和忠实度评分方面表现出竞争性和优越性的改进。
在对话摘要任务上，常用自动度量与人类判断的相关性如何？
研究发现，对于绝大部分度量方法而言，在对话数据上的表现与人类判断的相关性较差。为了提高 faithfulness metrics 在对话摘要任务上的性能，采用了 fine-tuning on in-domain dataset 和 unlikelihood training on negative samples 等技术，并提出 T0-Score 度量方法，其在多个领域上均能稳定提高评价性能。
