滞后的跳跃：探索大型语言模型在多次跳跃查询上的限制
内容提要
本文研究了大型语言模型在多跳推理中的表现，发现超过80%的提示使用了复杂的推理路径。提出了利用知识图谱和结构化数据来改进推理能力的方法。实验表明，模型在多跳问答任务中仍有提升空间，特别是在处理复杂文档依赖关系时。
延伸解读
多跳推理的潜在机制
文章通过分析提示中的潜在推理路径，发现超过80%的提示使用了多跳推理，即先识别桥梁实体，再利用其知识。这表明LLM在处理复杂查询时，可能隐式地执行了多步推理，而非简单的模式匹配。这种潜在能力为理解模型内部工作机制提供了新视角。
利用效率的情境依赖性
尽管多跳推理路径普遍存在，但模型对桥梁实体知识的利用却高度依赖提示类型。平均而言，第二个跳跃（利用知识）的证据较弱，且不随模型规模增长而改善。这意味着模型可能识别了桥梁实体，却未能有效提取相关信息，导致推理链条断裂。
改进多跳推理的途径
文章提及了多种增强多跳推理的方法，如利用知识图谱、结构化数据、注意力头内存注入等。这些方法旨在弥补模型在复杂文档依赖关系上的不足。例如，内存注入可显著提高下一个标记的概率，而知识图谱压缩能减少标记使用并提升性能。
当前模型的局限与挑战
实验表明，即使先进模型如GPT-4、LLaMA 2等在复杂多文档依赖的多跳问答中仍有提升空间。模型规模增大仅对第一个跳跃有显著帮助，对第二个跳跃无效。这提示未来研究需关注如何提升模型对桥梁实体知识的利用效率，而非单纯扩大规模。
Q&A
大型语言模型在多跳推理中表现如何？
研究发现超过80%的提示使用了复杂的推理路径，表明模型在多跳推理中表现出一定的能力，但仍有提升空间。
如何改进大型语言模型的推理能力？
可以通过利用知识图谱和结构化数据来改进推理能力，并通过对注意力头部进行内存注入来增强多跳提示的完成质量。
多跳问答任务中存在哪些挑战？
在处理复杂文档依赖关系时，当前的语言模型仍存在推理能力的提升空间，尤其是在第二个跳跃的推理上。
实验结果对未来大型语言模型的发展有什么启示？
实验结果提出了对未来大型语言模型发展的挑战和机遇，特别是在多跳推理和复杂文档处理方面。
如何评估大型语言模型在多跳问答中的能力？
可以通过构建新的评估基准，注释和评估推理链的形式来促进对大型语言模型在多跳问答任务上的可信评估。
知识图谱在多跳推理中起什么作用？
知识图谱可以指导语言模型完成多跳推理，帮助模型有效组合多条逻辑事实，从而提升问答任务的表现。
