KGLens:利用知识图谱高效探测大型语言模型的知识准确性
原文英文,约200词,阅读约需1分钟。发表于: 。This paper was accepted at the Workshop Towards Knowledgeable Language Models 2024. Large Language Models (LLMs) might hallucinate facts, while curated Knowledge Graph (KGs) are typically...
介绍了KGLens框架,用于测量知识图谱与语言模型的对齐程度。KGLens利用图导向的问题生成器将KG转化为自然语言,并采用重要性抽样策略来加速KG遍历。实验结果表明KGLens比其他方法更高效。通过对三个大型领域特定KG进行分析,评估了十个语言模型的准确性。人工评估结果显示,KGLens能够以接近人工注释者准确率的水平评估语言模型,达到95.7%的准确率。