语言模型和人类的推理都依赖内容
原文中文，约1100字，阅读约需3分钟。发表于：。人类不太擅长逻辑，需要依赖内容直觉进行推理。许多认知研究表明，人类的推理并不是完全抽象的（不是完全的形式与内容分离）。 相反，我们的推理取决于问题的内容： 当内容支持逻辑推理时，我们回答得更准确， 当内容和逻辑冲突时，我们会犯更多的错误。 这篇论文对最先进的大型语言模型和人类进行了评估，发现语言模型反映了人类在这些任务中观察到的许多相同模式--与人类一样，当任务的语义内容更准确时，模型的回答也更准确。
本文评估了大型语言模型和人类在逻辑推理任务中的表现，发现两者在许多方面存在相似模式，且模型的准确性与任务的语义内容相关。人类和LM在推理任务上的表现有很大的重叠，内容对准确性和其他行为指标产生了类似的影响。
