合并事实，创造谬误：评估长篇生成中聚合事实声明的矛盾性质
内容提要
本文综述大语言模型事实性评估研究，提出FActScore方法，将文本分解为原子事实并计算支持比例，发现ChatGPT精度仅58%；还介绍了FELM基准、LongDocFACTScore长文档评估框架及事实增强训练方法，指出当前模型检测事实错误能力仍不足。
延伸解读
原子事实分解：评估长文本事实性的关键
文章指出，长篇生成文本的事实性评估难以直接进行二元判断，因为文本中相关与不相关信息混杂。FActScore 将文本分解为原子事实，并计算被可靠知识来源支持的原子事实比例，从而提供更细粒度的评估。这种方法能定位具体错误，但依赖知识来源的覆盖和质量，且自动估计模型可能引入偏差。
当前模型事实错误检测能力不足
文章提到，FELM 基准的实验证实，当前语言模型在忠实检测事实错误方面远不能令人满意。另一项研究显示，识别错误声明的最佳 F1 仅为 0.53，表明现有工具在检测事实错误上仍有很大困难。这提醒读者，即使模型能生成流畅文本，其事实可靠性仍存疑，需谨慎对待模型输出。
长文档事实一致性评估的进展与局限
针对长文档摘要，传统自动度量因标记限制不适用。LongDocFACTScore 框架可扩展到任意长度文档，在评估事实度与人工测量相关性上优于现有最先进度量，且在短文档数据集上性能相当。然而，文章未提及该框架在极长文档或跨领域场景下的表现，实际应用时需考虑其泛化能力。
事实性并非唯一：相关性与连贯性的权衡
文章通过 CONNER 评估发现，知识密集型任务中事实性的小错误并不会显著影响下游任务，相关性和连贯性可能比事实性更为重要。这提示读者，在评估生成文本时，需根据应用场景权衡事实性与其他质量维度。同时，研究提出通过 Prompt Engineering 和 Knowledge Selection 来改进知识密集型任务，为提升事实性提供了可行方向。
Q&A
FActScore是什么？它如何评估大语言模型生成文本的事实性？
FActScore是一种评估生成模型生成的长篇文本真实性的新方法。它将生成的文本分解为一系列原子事实，并计算可靠知识来源支持的原子事实的百分比，从而解决了因生成文本含有相关与不相关信息而难以进行二元评估的问题。
ChatGPT在事实性评估中的精度如何？
根据FActScore的自动评估模型，ChatGPT只有58%的精度。
FELM基准是什么？它有什么特点？
FELM是一个大型语言模型真实性评估基准，它收集了来自语言模型的响应并以细化的方式注释了真实性标签。通过使用文本片段进行注释，可以帮助定位具体的事实错误。但实验证实，当前的语言模型在忠实地检测事实错误方面还远远不够满意。
LongDocFACTScore是什么？它解决了什么问题？
LongDocFACTScore是一个新的评估框架，用于评估长文档摘要中的事实一致性。它解决了传统自动度量标准因标记限制而不适用于长文档摘要评估的问题，可以扩展到任意长度的文档。在评估长文档摘要数据集的事实度与人工测量结果的相关性方面，它优于现有的最先进度量标准。
有哪些方法可以提高大语言模型生成文本的事实准确性？
文章提到了多种方法：基于主题前缀和句子补全的事实增强训练方法；更适合提高准确性的采样算法；利用外部知识库的一致性、大模型的置信度以及直接优化算法进行微调；目标定向的RLHF和解码策略；以及通过Prompt Engineering和Knowledge Selection来改进知识密集型任务。
当前大语言模型在检测事实错误方面的能力如何？
当前的语言模型在忠实地检测事实错误方面还远远不够满意。例如，在针对大型语言模型输出进行事实准确性注释的研究中，初步实验结果表明，已有工具在识别错误声明方面存在困难，最佳F1仅为0.53。
