基于GraphEval的语言模型幻觉评估
内容提要
GraphEval是亚马逊研究者提出的框架，利用知识图谱检测大语言模型的幻觉问题。它通过构建语义三元组，并用自然语言推理模型评估每个三元组是否被上下文蕴含，未蕴含的即标记为幻觉。该框架强调可解释性，便于定位幻觉根源。
延伸解读
可解释性是核心优势
GraphEval 与传统评估指标不同，它通过构建知识图谱并逐条检查三元组，能够明确指出幻觉发生的具体位置。这种细粒度的诊断方式，有助于开发者快速定位问题，而不是仅仅得到一个笼统的分数。
NLI 模型的选择影响结果
框架依赖自然语言推理（NLI）模型来判断三元组是否被上下文蕴含。文中使用了 DeBERTa 模型，但不同 NLI 模型的性能可能有所差异，这会影响幻觉检测的准确性。实际应用中，需要根据场景选择合适的 NLI 模型。
与 RAG 系统的潜在结合
文章提到，在真实场景中，ground-truth 上下文可以来自 RAG 系统的检索文档。这意味着 GraphEval 可以作为 RAG 流水线的一部分，用于评估生成内容与检索证据的一致性，从而增强系统的可靠性。
Q&A
GraphEval是什么？
GraphEval是亚马逊研究者提出的一个框架，利用知识图谱来检测和定位大语言模型（LLM）生成内容中的幻觉问题。它通过构建语义三元组，并用自然语言推理（NLI）模型评估每个三元组是否被上下文蕴含，未蕴含的即标记为幻觉。
GraphEval如何检测幻觉？
GraphEval通过两个阶段检测幻觉：首先，从模型生成的响应中构建知识图谱，提取语义三元组（主语，关系，宾语）；然后，使用自然语言推理（NLI）模型将每个三元组与源上下文（如RAG检索到的文档）进行比对，如果三元组不被上下文蕴含（即中性或矛盾），则标记为幻觉。
GraphEval相比传统评估指标有什么优势？
GraphEval强调可解释性，它不像传统指标那样只给出单一分数，而是通过构建知识图谱和逐条评估三元组，能够明确指出幻觉发生在哪个具体事实（三元组）上，从而帮助定位幻觉的根源。
GraphEval中NLI模型的作用是什么？
NLI（自然语言推理）模型在GraphEval中用于评估每个三元组是否被源上下文蕴含。如果NLI模型输出为'entailment'（蕴含），则三元组被认为是真实的；如果输出为'neutral'（中性）或'contradiction'（矛盾），则三元组被标记为幻觉。
GraphEval中的知识图谱是如何构建的？
GraphEval中的知识图谱是从LLM生成的响应中构建的，通常通过辅助LLM提取语义三元组（主语，关系，宾语）。这些三元组构成图的节点和边，其中主语和宾语是节点，关系是边。
GraphEval在实际生产环境中如何应用？
在实际生产环境中，GraphEval的源上下文可以来自RAG（检索增强生成）系统的向量数据库检索到的相关文档。它作为预处理步骤，利用现成的NLI模型来检测事实不一致性，从而帮助识别和定位幻觉。
GraphEval的局限性是什么？
GraphEval的局限性包括：依赖NLI模型的准确性，可能无法捕捉所有类型的幻觉；构建知识图谱需要额外的计算资源；对于复杂或隐含的幻觉可能难以检测。此外，它主要关注事实性错误，可能忽略其他类型的生成质量问题。
