InfoQ
·
大学研究人员发布大型语言模型中链式思维推理的分析
💡
原文英文，约600词，阅读约需3分钟。
📝
内容提要
普林斯顿大学和耶鲁大学的研究发现，大型语言模型（LLM）的链式思维（CoT）推理结合了记忆和真实推理能力。即使提示中的示例不正确，CoT仍能有效。研究通过解码移位密码发现，LLM的表现依赖于记忆、噪声推理和正确输出的概率。实验显示，GPT-4在数字解码任务中表现出色，表明其具备核心推理能力，但CoT并非纯粹的符号推理。研究代码和数据已在GitHub上发布。
🎯
关键要点
-
普林斯顿大学和耶鲁大学的研究表明，大型语言模型（LLM）的链式思维（CoT）推理结合了记忆和真实推理能力。
-
CoT在提示中的示例不正确时仍能有效，支持LLM既有记忆又有推理的观点。
-
研究选择解码移位密码作为案例，发现LLM的表现依赖于记忆、噪声推理和正确输出的概率。
-
研究团队创建了一个包含7个字母单词的数据集，并进行了多次实验以测试LLM的推理能力。
-
实验结果显示，GPT-4在数字解码任务中表现出色，具备核心推理能力，但CoT并非纯粹的符号推理。
-
研究团队成员R. Thomas McCoy表示，CoT提示的不同形式可能会导致不同的结果，值得进一步探索。
-
研究的代码和数据已在GitHub上发布。
➡️
