CHECKWHY：通过论证结构进行因果事实验证

BriefGPT - AI 论文速递 · 2024-08-20T00:00:00Z

本文提出了一个基于逻辑推理的框架，用于将宣称或传言与证据分解为验证所需的原子推理步骤，并通过对GPT-3.5-Turbo和GPT-4的推理能力进行评估。结果显示ChatGPT在因果推理方面存在困难，但通过使用手动Chain of Thought（CoT）方法可以在一定程度上缓解这一问题。研究指出ChatGPT的推理过程与人类类似的推理过程不太一致，同时强调LLMs需要在实际任务中进行更严格的评估。