作为间接推理器的大型语言模型：自动推理的逆否和矛盾
内容提要
大型语言模型在逻辑推理方面存在缺陷，容易产生反事实答案。针对此问题，多项研究提出了改进方案，包括微调小模型、LogicAsker自动评估、PrOntoQA合成数据集、LoGiPT模拟求解器、AMR-LE数据增广以及Logic-LM符号推理框架。评估显示，模型的逻辑推理错误率在25%至94%之间，而结合符号推理可显著提升性能。
延伸解读
逻辑推理错误率差异显著
LogicAsker 的评估显示，不同大型语言模型在逻辑推理任务中的错误率从 25% 到 94% 不等，表明模型之间的逻辑能力存在巨大差异。这一范围也提示，仅凭单一模型的表现难以概括整体水平，实际应用中需针对具体模型进行测试。
符号推理结合带来性能提升
Logic-LM 框架将自然语言问题转化为符号形式，再进行确定性符号求解，并在 ProofWriter、PrOntoQA、FOLIO 和 LogicalDeduction 四个数据集上验证了其效果。与仅使用大型语言模型相比，这种结合方式能显著提高逻辑推理性能，说明外部符号系统可弥补模型自身的推理缺陷。
小模型微调与提示改进各有路径
针对逻辑推理缺陷，研究提出了多种改进策略：微调小模型、设计上下文学习演示例子、数据增广以及模拟求解器。其中 LogicAsker 的测试用例用于设计提示后，GPT-4 的逻辑推理能力提升了 10%，表明无需重新训练即可通过提示工程获得改进。
泛化与鲁棒性仍是关注重点
有研究对大型语言模型在逻辑推理任务中的泛化性和鲁棒性进行了评估，并指出最新模型在归纳逻辑编程基准上表现不如规模较小的神经程序归纳系统。这提醒读者，模型规模增大并不必然带来逻辑推理能力的同步提升，泛化能力仍需专门评估。
Q&A
大型语言模型在逻辑推理方面存在哪些主要缺陷？
大型语言模型在逻辑推理方面存在缺陷，容易产生反事实答案，导致任务解决中出现错误。
有哪些方法可以提升大型语言模型的逻辑推理能力？
提升方法包括：微调小模型、LogicAsker自动评估、PrOntoQA合成数据集、LoGiPT模拟求解器、AMR-LE数据增广以及Logic-LM符号推理框架。
LogicAsker是什么？它如何评估和改进LLM的逻辑推理？
LogicAsker是一种自动方法，全面评估和改进基于命题和谓词逻辑的大型语言模型的逻辑推理能力，并揭示LLM未能学好的逻辑规则。它通过测试用例发现逻辑推理错误，错误率在25%到94%之间，并可用于设计上下文学习演示例子，如使GPT-4提升10%。
Logic-LM框架是如何工作的？它在逻辑推理任务上的效果如何？
Logic-LM将大型语言模型与符号推理相结合，首先使用LLM将自然语言问题转化为符号形式，然后进行确定性符号求解，并通过自我精炼阶段修正符号形式。在ProofWriter、PrOntoQA、FOLIO和LogicalDeduction四个数据集上，与仅使用LLM相比，显著提高了逻辑推理性能。
PrOntoQA数据集是什么？它用于什么目的？
PrOntoQA是一个新的合成问答数据集，通过使用一阶逻辑表示的合成世界模型生成，旨在对LLM进行系统探索。作者对InstructGPT和GPT-3的分析表明，LLM能够进行正确的逻辑推理，但在方案规划方面存在困难。
大型语言模型在逻辑推理任务中的错误率范围是多少？
根据LogicAsker的评估，大型语言模型在逻辑推理任务中的错误率从25%到94%不等。
