本研究解决了大型语言模型(LLMs)在生物医学领域进行有效三段论推理的能力不足的问题。提出的SylloBio-NLI框架利用外部本体系统生成多样的生物医学三段论论证,并评估LLMs在识别有效结论和提取支持证据方面的表现。实验表明,LLMs在生物医学三段论推理上表现较差,尤其在零-shot情况下,提示了模型的架构和预训练机制对稳健性的重要影响。
本研究解决了自回归语言模型在逻辑推理中是否真正学习到系统推理原则的争议。通过电路发现方法,本研究揭示了一个必要且充分的电路,阐明了模型如何从前提中推导有效结论的过程,并分析了信念偏差在三段论推理中的表现。研究结果表明,语言模型确实学习了可转移的内容独立推理机制,但这些机制受到前期训练获得的世界知识的影响。
本文研究大型语言模型(LLMs)在逻辑推理中的偏见,发现其在复杂推理和否定情况下表现不佳。通过分析多个数据集,提出神经符号化方法以提升推理能力。研究表明,LLMs的成功主要依赖于表面模式,真正的推理能力仍需进一步提升。
本文介绍了合成问答数据集PrOntoQA,并分析了大型语言模型(LLMs)在逻辑推理中的表现。研究发现,LLMs在复杂推理和上下文理解方面存在困难。作者呼吁深入研究LLMs的推理机制,并提出改进策略,以提升其逻辑推理能力。
这篇文章介绍了四词谬误,当一个三段论中出现四个或更多术语时,它就变得无效。四词谬误最常通过模棱两可的措辞出现,导致无效的推理。
本研究测试了几种大型语言模型(LLMs)在解决认知科学文献中的演绎推理问题方面的能力。结果显示,这些模型的传统形式上的解决能力有限,且具有独特的推理偏见。更改展示格式和内容并不能改善模型性能。
完成下面两步后,将自动完成登录并继续当前操作。