ICML 2024演讲爆火！Meta朱泽园揭秘大模型内心世界：不同于人类的2级推理
原文中文，约3800字，阅读约需9分钟。
📝
内容提要
近日，Meta FAIR、CMU和MBZUAI的团队公布了一篇名为《语言模型物理学Part 2.1：小学数学与隐藏的推理过程》的论文。研究发现，大语言模型（LLM）可以学会一级推理，几乎每次都给出最短解答。模型会心算许多对解题无用的信息，这被称为二级推理。研究还表明，模型的深度比宽度更为重要，且模型对深度的依赖无法通过思维链来抵消。即使是GPT-4，在某些推理问题上也只能进行最多10步的推理。现有大模型使用的预训练数据集可能还有改进空间。
❓
Q&A
大语言模型（LLM）如何进行推理？
大语言模型通过心算和推理技能来解题，能够进行一级推理和二级推理，前者关注必要变量，后者则处理无关信息。
研究中提到的iGSM数据集有什么作用？
iGSM数据集用于控制实验，专门研究模型的推理能力，确保模型接触的问题类别不受其他因素影响。
模型在推理过程中常犯哪些错误？
模型主要犯两类错误：计算不必要的变量和计算当前不可算的变量，这与心算错误有关。
为什么模型的深度比宽度更重要？
模型的深度对推理能力至关重要，因为心算的复杂性需要更多层数来处理与问题变量的关系。
GPT-4在推理能力上有什么限制？
即使是GPT-4，在iGSM数据集上也只能进行最多10步的推理，显示出其推理能力的局限性。
研究对大模型缩放定律有何反驳？
研究反驳了大模型缩放定律，强调模型的表现与深度相关，而不仅仅是参数数量，深度更为重要。
🏷️
