遍历树：一种用于增强黑盒语言模型与知识图谱的零射算法
内容提要
本文探讨了如何通过知识图谱增强大型语言模型（LLMs）的推理能力，提出了Think-on-Graph和Logic-Query-of-Thoughts等新框架和方法，显著提高了多跳问题回答的准确性和连贯性。研究表明，LLMs在推理时生成的思路与答案的准确性存在差异，强调了知识聚合和上下文信息的重要性。
延伸解读
知识图谱增强LLM推理的多种路径
文章介绍了多种利用知识图谱增强大型语言模型推理能力的方法，包括Think-on-Graph、Logic-Query-of-Thoughts、Graph-CoT等。这些方法的核心思路是将知识图谱的结构化信息与LLM的生成能力结合，通过路径选择、逻辑查询拆解或迭代推理，提升多跳问答等复杂任务的准确性。其中LGOT在实验中相比ChatGPT性能提升20%，显示出知识图谱在弥补LLM推理不足方面的潜力。
推理过程正确性不容忽视
文章指出，LLM在生成连贯思路时可能通过错误的推理方法得出正确答案，即思路准确性与答案准确性存在显著差异。这一发现提醒我们，仅关注最终答案的准确性可能掩盖模型推理的缺陷。在多跳问答等任务中，评估模型推理过程的正确性同样重要，否则可能高估模型的实际推理能力。
减少LLM调用与知识聚合的优化
文章提到，通过结合思维链和PageRank的子图检索方法，可以优化基于LLM的管道，减少对LLM的依赖，使用较少的调用达到相同结果。此外，模块化的知识聚合零样本常识推理框架能提升常识推理性能。这些工作表明，在增强LLM推理时，效率与性能可以兼顾，通过精心设计的知识检索与聚合策略，能降低计算成本。
零样本关系建模与三元组提取的进展
文章还涉及零样本关系建模和三元组提取。通过将知识图谱关系的文本描述输入LLM，可以解决传统知识图谱预测中无先验图谱上下文的零样本关系建模问题。在三元组提取方面，动态收集上下文信息能提升LLM性能，且上下文质量与最终性能密切相关，而模型规模仅带来对数级改进。这提示在实际应用中，优化上下文信息可能比单纯增大模型更有效。
Q&A
如何通过知识图谱增强大型语言模型的推理能力？
可以通过提出Think-on-Graph框架，利用知识图谱来增强大型语言模型的推理能力，从而提高多跳问题回答的准确性。
什么是Logic-Query-of-Thoughts方法？
Logic-Query-of-Thoughts方法将大型语言模型与知识图谱的逻辑查询推理相结合，通过拆解复杂逻辑查询为易答子问题来获得准确结果。
LLMs在生成连贯思路时的准确性如何？
研究表明，LLMs生成的连贯思路的准确性与回答的准确性存在显著差异，常常通过错误的推理方法得出正确答案。
如何优化基于LLM的管道以减少对LLM的依赖？
通过选择推理路径并结合思维链和PageRank的子图检索方法，可以整合和优化基于LLM的管道，减少对LLM的依赖。
模块化的知识聚合零-shot常识推理框架有什么优势？
该框架可以在多个不同的知识图谱中应用，提高常识推理性能，解决传统知识图谱预测中的零样本关系建模问题。
Graph-CoT框架如何提高知识密集型任务的性能？
Graph-CoT框架通过对图进行迭代推理，将大型语言模型与图结合，从而提高知识密集型任务中的性能。
