7条认知难题难倒了AI大模型
内容提要
这篇文章介绍了一个开源项目，用于测试大型语言模型的推理能力。项目通过思想实验和悖论，如电车问题、蒙蒂·霍尔问题、理发师悖论等，评估了各种模型的解决能力。结果显示只有少数大型语言模型能够稳定解决这些问题，其中gpt-4o和gpt-4t表现较好。文章还讨论了大型语言模型在解决问题时的注意力分配问题，以及与人类推理的差异。
延伸解读
测试方法与模型表现
该开源项目使用七个经典思想实验和悖论来评估大语言模型的推理能力，包括电车问题、蒙蒂·霍尔问题、理发师悖论等。测试结果显示，只有少数模型能稳定解决这些问题，其中gpt-4o和yi-large表现相对较好，但不同模型在不同问题上表现差异明显，例如gpt-4o解决了电车和蒙蒂·霍尔问题，而gpt-4t在蒙蒂·霍尔问题上失败。
注意力分配问题
文章指出，大语言模型在解决这些问题时存在注意力分配问题。由于训练数据中常见未经修改的原始问题，模型容易误认为测试问题是未经修改的版本，从而给出针对原始问题的解决方案，而非针对修改后问题的逐步推理。这导致模型在回答时出现不必要的讨论或错误答案。
与人类推理的差异
人类推理具有反复性，可以根据新证据重新分配注意力并自我纠正，而当前聊天界面中的大语言模型缺乏这种灵活性。它们通常只能进行单一推理并输出结果，除非通过额外提示或多次尝试（如思维链）来引导。这种差异揭示了模型在推理任务中的局限性。
改进方向与启示
文章提到，通过提供额外提示或要求模型重读并检查答案，大多数模型能够正确推理。这表明，结合正确的模块和元素（如多步推理、自我验证）可以提升模型表现。研究模型的困惑与人类推理问题的重叠，对于改进模型设计具有重要意义。
Q&A
什么是电车问题，它在测试大型语言模型中的作用是什么？
电车问题是一个伦理学中的道德困境，测试模型在牺牲一个人以拯救更多人时的推理能力。只有gpt-4o和gpt-4t成功解决了这个问题。
蒙蒂·霍尔问题是什么，哪些模型能够解决它？
蒙蒂·霍尔问题是一个概率谜题，涉及选择门的策略。gpt-4o能够解决此问题，而gpt-4t则失败。
理发师悖论的核心内容是什么？
理发师悖论探讨一个理发师是否给自己刮胡子，结果没有模型能始终正确回答。
薛定谔的猫问题在测试中表现如何？
薛定谔的猫问题没有模型能始终正确回答，通常需要额外提示。
过河谜题的挑战是什么，模型的解决方案如何？
过河谜题要求农民在不让狼吃掉山羊的情况下过河，所有模型提供的解决方案都过于复杂。
大型语言模型在逻辑推理中存在哪些问题？
大型语言模型在逻辑推理中存在注意力分配问题，常误认为问题未经修改，导致推理错误。
