LLM 作为提示器：在任意知识图上进行低资源归纳推理
内容提要
本文综述大语言模型与知识图谱协作训练研究，通过知识图谱引导迭代探索、检索相关子图支持推理，提升基于知识推理的可靠性与可解释性，在QALD10等数据集上显著改进。涉及MindMap、GNP、RoG、KSL等方法，并测试GPT-4等模型的图推理能力，提出PathCompare提示技术。
延伸解读
知识图谱与LLM协作的演进脉络
文章梳理了2022至2024年间多项研究，展示了LLM与知识图谱协作的演进：从早期利用图神经网络进行归纳推理，到通过提示技术让LLM理解结构化知识，再到迭代探索和检索子图支持推理。这些工作共同指向一个趋势：将知识图谱作为外部知识源和推理路径提供者，以增强LLM的可靠性和可解释性。
反直觉发现：LLM更擅长处理混乱知识
一项研究对比了不同知识图谱注入方法，意外发现LLM能够有效处理混乱、噪音和线性化的知识图谱知识，且表现优于设计良好的自然语言文本提示。这一发现挑战了传统认知，提示未来研究应重新审视结构化知识的表示方式，以及LLM对非规范输入的鲁棒性。
图推理能力测试揭示LLM的局限
通过10个复杂度递增的图遍历问题测试GPT-4等5种LLM，研究发现模型性能与图中节点遍历的自由度平均值呈反比，k-shot提示对图推理任务有整体负面影响，且存在积极响应偏差，导致无法识别有效解的缺失。这些局限为改进提示技术提供了方向。
PathCompare提示技术的改进效果
针对图遍历任务，研究者提出了PathCompare提示技术，与标准提示和思维链（CoT）相比，在LLM性能上表现出显著增加。这表明针对特定推理任务设计定制化提示，能有效缓解LLM在图推理中的偏差和局限，提升推理准确性。
Q&A
LLM和知识图谱协作训练的主要方法是什么？
利用大型语言模型和知识图谱的协作训练方法，在知识图谱的指导下，通过迭代探索和选择性地检索任务相关的知识子图来支持推理，使LLM能更可靠地进行基于知识的推理，并明确阐述推理过程。
这种方法在哪些数据集上取得了显著改进？
在多个数据集上显著改进，尤其在QALD10数据集上相对于最佳基线和最先进的方法提高了超过10%。
MindMap方法是什么？它有什么作用？
MindMap方法通过生成心智地图来解释LLM的推理过程，借助知识图谱向LLM提供新知识和推理路径，在问答任务中显著提升了性能。
GNP方法有什么特点？
GNP（图神经传递）方法通过利用知识图谱，辅助预训练大型语言模型学习有益的知识，在常识和生物医学推理任务中具有优越性能。
RoG方法是什么？它实现了什么？
RoG（图推理）是一种基于知识图谱的新方法，通过将LLM与知识图谱相结合，实现了忠实和可解释的推理，在KG推理任务上取得了最先进的性能。
KSL方法如何增强LLM的搜索能力？
KSL（知识解决器）范例利用LLM的强大概括能力，教它们从外部知识库中搜索必要知识，并将检索过程转化为多跳决策序列，增强了LLM的搜索能力，提高了推理过程的可解释性。
LLM在图推理任务中的表现如何？
通过测试5种不同的LLM（GPT-4、GPT-3.5、Claude-2、Llama-2和Palm-2）的图形推理深度，设计了10个不同复杂度的图形遍历问题，分析了模型在不同设置下的性能，突出了LLM的各种限制、偏见和属性，例如与图中每个节点遍历的自由度平均值呈反比关系，k-shot提示对图形推理任务的整体负面影响以及积极的响应偏差。
PathCompare提示技术是什么？它有什么效果？
PathCompare是一种专门针对图形遍历任务设计的新提示技术，在LLM的性能方面与标准提示和CoT相比表现出显著增加。
