VERISCORE：评估长文生成的可验证主张的真实性
内容提要
本文介绍了一种新方法FActScore，用于评估生成文本的真实性。该方法通过将文本分解为原子事实，并计算可靠来源支持的事实比例来进行评估。同时，研究提出了LongDocFACTScore框架，能够有效评估长文档的事实一致性，且在与人工测量对比中表现优于现有标准。此外，研究还指出大型语言模型在生成文本时存在的事实准确性问题，并提出D-FActScore以改善评估效果。
延伸解读
长文事实性评估的挑战与突破
传统自动评估指标受限于标记长度，难以直接用于长文档摘要的事实一致性评估。LongDocFACTScore通过可扩展的框架解决了这一问题，在长文档数据集上其评估结果与人工判断的相关性优于现有最先进指标，同时保持了在短文档上的可比性能。这表明针对长文本的事实性评估需要专门设计的度量方法，而非简单套用短文本方案。
LLM作为评估者的成本与一致性优势
SAFE方法利用LLM代理将长篇回复分解为原子事实，并通过多步推理验证每个事实的准确性。实证显示，SAFE在16k个事实集上的评级与人类标注者达成72%的一致，在分歧案例中胜出76%，且成本比人类标注低20倍。这提示在长文事实性评估中，自动化代理可能比人工更高效且一致，但需注意其依赖搜索验证的局限性。
实体歧义导致的非真实段落问题
研究发现，语言模型生成的段落可能包含可验证的原子事实，但由于实体歧义，这些事实组合后可能形成非真实段落。例如，将不同实体的信息混合。D-FActScore针对此问题设计，比FActScore更能准确评估含歧义实体的段落。四个广泛使用的开源模型均表现出这种混合倾向，说明事实性评估需考虑实体消歧，否则可能高估生成内容的真实性。
Q&A
FActScore是什么，它如何评估生成文本的真实性？
FActScore是一种新方法，通过将生成文本分解为原子事实，并计算可靠来源支持的事实比例来评估文本的真实性。
LongDocFACTScore框架的优势是什么？
LongDocFACTScore框架能够有效评估长文档的事实一致性，且在与人工测量对比中表现优于现有标准。
大型语言模型在生成文本时存在哪些事实准确性问题？
大型语言模型在生成文本时常常产生内容错误，尤其是在处理开放式主题的事实查询时。
D-FActScore的作用是什么？
D-FActScore是一种增强指标，专门用于评估具有歧义实体的内容的真实性，效果优于FActScore。
LLM代理在长篇事实性评估中的表现如何？
研究显示，LLM代理在长篇事实性评估中表现优于人类标注者，且成本更低。
CLIPBERTScore是什么，它的用途是什么？
CLIPBERTScore是一种结合CLIPScore和BERTScore的加权组合度量方法，用于多模式事实性摘要的评估。
