GraphEval：基于知识图谱的 LLM 幻觉评估框架
内容提要
本文探讨了知识图谱在减轻大型语言模型（LLMs）虚构幻觉中的应用，提出了一种改进框架，通过结合知识图谱与语言模型，提升事实问答的准确性。研究表明，该框架显著提高了模型性能，降低了谬误，增强了可信度，并介绍了评估幻觉的新方法和技术挑战，为未来研究提供了方向。
延伸解读
知识图谱如何减轻幻觉
文章指出，知识图谱通过提供结构化事实，可用于验证和完善语言模型生成的初步回答。例如，Re-KGR方法在医学领域利用自我完善的知识图谱检索，显著提高了真实性并减少了虚构内容。这表明知识图谱能作为外部知识源，帮助模型修正事实错误，从而增强可信度。
评估幻觉的基准与框架
为了评估幻觉，文章介绍了HalEval-Wild基准，它收集用户与LLM交互中的挑战性查询，并用GPT-4和RAG合成参考答案，以分析幻觉。此外，HaELM框架提出了对大型视觉语言模型的幻觉评估方法，并分析致幻因素。这些工作为衡量和缓解幻觉提供了工具。
GraphEval降低评估成本
GraphEval方法通过从包含超过1000万事实的大型知识图谱中检索测试数据集，并训练判断模型来估计答案正确性。实验证明，判断模型的事实评估与语言模型输出的正确性密切相关，同时大幅降低了评估成本，为后续改进模型事实性提供了见解。
Q&A
知识图谱如何帮助减轻大型语言模型的幻觉问题？
知识图谱通过结合与语言模型，验证和完善模型生成的初步回答，从而有效减轻虚构幻觉。
GraphEval 方法的主要功能是什么？
GraphEval 方法通过大规模测试数据集评估大型语言模型的性能，简化评估过程并降低成本。
HalEval-Wild 是什么，它的目的是什么？
HalEval-Wild 是一个评估大规模语言模型产生幻觉能力的基准测试，旨在分析模型在现实环境中的表现。
如何评估大型视觉语言模型的幻觉能力？
可以通过基于大型语言模型的幻觉评估框架 (HaELM) 来评估，并分析导致幻觉的因素。
使用协作增强框架 CogMG 有什么优势？
CogMG 解决了大型语言模型在问答场景中的知识覆盖和更新不匹配问题，显著提高了答案的事实准确性。
未来研究方向有哪些？
未来研究方向包括探讨基于知识图谱的知识增强技术在减轻幻觉方面的有效性及其面临的挑战。
