量子位
·
慢思考准确率反降30%！普林斯顿揭示思维链某些任务上失效的秘密
💡
原文中文，约1800字，阅读约需5分钟。
📝
内容提要
普林斯顿的研究发现，思维链（CoT）在某些任务中会降低模型表现，例如在生造词分类任务中，GPT-4的准确率从94%降至64.4%。研究指出，深思熟虑可能影响人类和模型的表现，尤其在隐式统计学习和面部识别等任务中。模型与人类能力的差异导致表现约束，需具体分析CoT的有效性。
🎯
关键要点
- 普林斯顿研究发现思维链（CoT）在某些任务中降低模型表现。
- 在生造词分类任务中，GPT-4的准确率从94%降至64.4%。
- 深思熟虑可能影响人类和模型的表现，尤其在隐式统计学习和面部识别等任务中。
- 研究团队通过类比CoT提示和人类语言思考，确定了影响表现的约束因素。
- 实验选择了隐式统计学习、面部识别和包含异常的数据分类等任务进行分析。
- 隐式统计学习中，人类在不使用语言描述时能更好地概括数据。
- 面部识别任务中，语言思考干扰视觉感知，导致识别能力下降。
- 包含异常的数据分类任务中，模型在使用CoT时表现不佳，需尝试更多轮次。
- 研究还发现某些任务中，CoT提示能提升大模型性能，如自然语言推理和空间直觉任务。
- 模型和人类的能力存在根本差异，影响其性能的约束条件不同。
- 研究将认知心理学与大模型之间建立了联系，可能为大模型领域提供更多见解。
❓
延伸问答
思维链（CoT）在什么任务中降低了模型的表现？
思维链在生造词分类任务中降低了模型的表现，GPT-4的准确率从94%降至64.4%。
深思熟虑如何影响人类和模型的表现？
深思熟虑可能会降低人类和模型在某些任务上的表现，尤其是在隐式统计学习和面部识别等任务中。
哪些任务中思维链提示能提升大模型的性能？
思维链提示能提升大模型性能的任务包括自然语言推理、空间直觉和涉及工作记忆限制的任务。
普林斯顿的研究如何将心理学与大模型联系起来？
普林斯顿的研究通过分析思维链在不同任务中的表现，揭示了心理学与大模型之间的联系，可能为大模型领域提供更多见解。
在面部识别任务中，语言思考对表现有什么影响？
在面部识别任务中，语言思考会干扰视觉感知，导致识别能力下降。
为什么在包含异常的数据分类任务中，模型使用CoT表现不佳？
在包含异常的数据分类任务中，模型使用CoT时会陷入试图总结规律的思维定式，导致需要更多尝试轮次。
➡️
