面向关系推理的 LLMs：我们离目标有多远？
内容提要
该文综述大型语言模型逻辑推理研究，指出模型在演绎、抽象、行动变化等推理任务上表现有限，存在反事实答案与独特推理偏见；提出逻辑训练、自监督后训练、上下文学习、强化学习与逻辑反馈及选择推理框架等提升策略，并构建数据集与基准进行评估，验证逻辑训练的有效性与必要性。
延伸解读
逻辑缺陷的实证表现
文章汇总的多项研究显示，LLMs在演绎、抽象、行动变化等推理任务上表现有限，且会产生反事实答案。例如，GPT-3、Instruct-GPT3和BLOOM在行动与变化推理任务上表现不佳；在经典演绎推理问题上，模型能力有限，更改展示格式和内容虽带来绩效差异，但总体性能未提高。这些发现表明模型存在独特推理偏见，只能部分预测人类推理表现。
现有基准的局限性
文章指出，现有推理基准测试过于简单化，无法支持关于LLMs推理能力的夸张说法。可扩展评估框架的提出正是为了更真实地测试模型在行动和变化推理上的能力。此外，对15个经典数据集的全面评估归纳了LLMs逻辑推理的优势与不足，说明单一基准难以全面反映模型能力，需要更细化的评估方法。
提升策略的多样性
为增强逻辑推理能力，文章提及多种策略：逻辑训练、自监督后训练与上下文学习以增加逻辑知识；强化学习与逻辑反馈用于复杂法律推理任务；基于选择和推理的框架可在不微调的情况下改进性能。这些方法从训练数据、学习范式到推理框架各有侧重，但文章未直接比较其优劣，读者需注意不同策略的适用场景。
任务表现的不均衡性
文章提到LLMs在不同推理任务上表现不均衡：在类比和道德推理方面表现出色，而在空间推理任务上表现不佳。这种差异提示，评估模型推理能力时不能一概而论，需区分具体任务类型。同时，抽象推理任务的表现也远低于其他自然语言处理任务，说明模型在需要抽象思维的场景中仍有明显短板。
Q&A
大型语言模型在逻辑推理方面主要存在哪些缺陷？
大型语言模型在逻辑推理方面存在缺陷，会导致在任务解决中产生反事实的答案，并且具有独特的推理偏见，其表现只能部分预测人类的推理表现。
有哪些方法可以提升大型语言模型的逻辑推理能力？
提升方法包括逻辑训练、自监督后训练、上下文学习、强化学习与逻辑反馈，以及基于选择和推理的框架（无需微调即可改进性能）。
LLM-LR数据集是用来做什么的？
LLM-LR是一个综合数据集，用于评估和预训练大型语言模型的逻辑推理能力，以验证逻辑训练的有效性和必要性。
现有的大型语言模型推理基准测试存在什么不足？
现有推理基准测试是简单化的，无法支持关于LLMs推理能力的夸张说法，并且LLMs在行动和变化推理等任务上表现不佳。
大型语言模型在哪些推理任务上表现较好，哪些较差？
大型语言模型在类比和道德推理方面表现出色，而在空间推理任务方面表现不佳；在传统形式的演绎推理问题上解决能力有限，抽象推理任务上的表现也非常有限。
强化学习与逻辑反馈如何用于提升语言模型的逻辑推理？
通过强化学习与逻辑反馈，可以加强语言模型在逻辑推理方面的能力，为处理复杂法律推理任务的大型语言模型发展提供新的研究途径，并承认了语言与逻辑之间的基本联系。
