貌似合理的干扰项在多跳推理中的作用：大型语言模型是否是细致的读者？
内容提要
本文综述了大型语言模型（LLMs）在推理方面的研究进展，探讨了提高推理能力的方法和评估标准。研究发现，LLMs在多跳推理中表现良好，但其推理依赖于训练数据的表面模式，而非真正的推理能力。研究者们通过新方法和知识编辑，致力于提升LLMs的推理准确性和鲁棒性。
延伸解读
多跳推理的评估需超越答案准确性
文章指出，大型语言模型在多跳推理中常能给出正确答案，但生成的连贯思路准确性却与答案准确性存在显著差异，表明模型可能通过错误推理得出正确答案。因此，仅以答案准确性评估推理能力会掩盖模型推理过程的缺陷，需引入对推理路径正确性的评估。
模型对扰动的敏感性揭示推理脆弱性
通过域不可知的扰动测试，研究发现模型对同义词替换等扰动更为敏感，且增加提示中扰动示例的比例可提高少样本提示的鲁棒性。这表明模型的推理依赖表面模式，而非深层理解，实际应用中需注意输入变化对推理稳定性的影响。
潜在推理路径的存在与局限
研究显示，模型在某些关系类型的提示中存在强烈的潜在多跳推理证据，超过80%的提示使用了推理路径，但利用程度高度情境化。此外，第二个跳跃和完整多跳遍历的证据相对适度，且模型大小对第一个跳跃有规模性趋势，对第二个跳跃则无。这提示模型的多跳推理能力有限且不均衡。
知识编辑与归因方法提升推理可靠性
针对知识不准确和过时问题，知识抹除机制（KELE）通过消除残余单跳知识，显著提升了编辑后模型的多跳推理能力。同时，“推理与归因”方法促使模型为每个断言提供归因，在嘈杂上下文中增强了推理表现。这些方法为改进模型推理提供了可行方向。
Q&A
大型语言模型在多跳推理中表现如何？
大型语言模型在多跳推理中表现良好，但其推理依赖于训练数据的表面模式，而非真正的推理能力。
如何提高大型语言模型的推理能力？
通过对LLM注意力头部进行内存注入和引入新的知识编辑方法，可以显著提升大型语言模型的推理能力。
大型语言模型在多跳推理中存在哪些局限性？
大型语言模型在多跳推理中存在知识不准确和过时的问题，且其推理过程依赖于表面模式。
研究者如何评估大型语言模型的推理能力？
研究者通过新颖的分析方法和评估范式，探讨模型的推理过程和生成连贯思路的准确性。
大型语言模型的规模对推理能力有何影响？
随着模型规模的增加，推理能力存在明显的规模性趋势，尤其是在第一个跳跃的推理中。
如何通过知识图谱提升大型语言模型的推理能力？
利用知识图谱可以深入探讨大型语言模型在多跳问题回答中的连贯思路推理能力，从而提升其推理准确性。
