大型语言模型推理中前提顺序重要性
内容提要
大型语言模型在演绎推理上表现有限，改变呈现格式和内容未能整体提升性能，其推理偏见与人类不同。模型虽能做部分逻辑推理，但在规划、泛化、常识及反事实任务中仍有明显缺陷，推理能力远不及人类。
延伸解读
推理偏见与人类差异
研究发现，大型语言模型在演绎推理中表现出独特的推理偏见，与人类不同。改变问题的展示格式和内容虽能引起绩效差异，但整体性能并未提升，且模型性能与格式、内容的交互方式出乎意料。这表明模型的推理机制可能依赖于表面特征，而非深层逻辑，导致其偏见模式无法简单类比人类。
逻辑推理的局限与挑战
尽管模型能进行部分逻辑推理，但在规划、泛化、常识及反事实任务中仍有明显缺陷。例如，在归纳逻辑编程基准测试中，大型语言模型的表现不及规模较小的神经程序归纳系统，且泛化能力较低。这提示模型在复杂推理场景中可靠性不足，远未达到人类水平。
提升推理能力的可能方向
文章提及多种改进尝试，如通过逻辑训练赋予模型推理能力、使用预排序方法调整输入概念顺序以增强常识推理，以及DetermLR框架逐步积累明确前提。这些方法在特定任务上显示出效果，但整体性能仍未根本提升，说明单一策略难以解决模型推理的固有缺陷。
Q&A
大型语言模型在演绎推理任务上的整体表现如何？
大型语言模型在传统形式的演绎推理问题上解决能力有限，尽管改变展示格式和内容会导致绩效差异，但总体性能并未提高。
改变问题的呈现格式或内容能提升LLM的推理表现吗？
不能。研究发现，虽然不同条件之间的绩效存在差异，但总体性能并未提高，且性能与展示格式和内容以出人意料的方式相互作用，与人类表现不同。
LLM的推理偏见与人类有何不同？
LLM具有独特的推理偏见，其只能部分预测人类的推理表现，与人类表现有所不同。
LLM在哪些推理任务上存在明显缺陷？
LLM在规划、泛化、常识及反事实任务中仍有明显缺陷，推理能力远不及人类。
LLM能否进行正确的逻辑推理？
LLM能够进行正确的逻辑推理，但在方案规划方面存在困难。
预训练语言模型在演绎推理上存在哪些具体问题？
预训练语言模型存在推理规则泛化不足、对表面形式的修改表现不稳定、在推理过程中出现遗忘现象等问题，说明其演绎推理表现仍不可靠，远未达到人类的推理能力。
