ICML 2024演讲爆火！Meta朱泽园揭秘大模型内心世界：不同于人类的2级推理
内容提要
近日，Meta FAIR、CMU和MBZUAI的团队公布了一篇名为《语言模型物理学Part 2.1：小学数学与隐藏的推理过程》的论文。研究发现，大语言模型（LLM）可以学会一级推理，几乎每次都给出最短解答。模型会心算许多对解题无用的信息，这被称为二级推理。研究还表明，模型的深度比宽度更为重要，且模型对深度的依赖无法通过思维链来抵消。即使是GPT-4，在某些推理问题上也只能进行最多10步的推理。现有大模型使用的预训练数据集可能还有改进空间。
延伸解读
模型深度为何比宽度更重要？
文章通过可控实验发现，在解决iGSM数学题时，模型的深度比宽度更为关键。一个20层、9个head的模型表现远好于4层、30个head的模型，尽管后者参数更多。这是因为模型需要进行心算，而心算的复杂性要求更多层数。例如，确定与问题距离为t的变量是否必要，需要t步心算，因此需要更多层。这一发现挑战了传统缩放定律中“唯参数数量论”的观点。
思维链无法抵消深度依赖
即使使用思维链（CoT）将计算逐步拆解，模型仍需要心算来规划第一步该算什么。这种心算过程可能涉及多步，因此模型对深度的依赖无法通过CoT来抵消。文章指出，iGSM中的数学题解已尽可能使用CoT，但模型仍需要足够的深度来完成心算，这解释了为什么深度对推理能力至关重要。
二级推理：超越任务的通用能力
模型不仅学会了一级推理（给出最短解答），还展现出二级推理：在问题提出前，就心算所有变量间的依赖关系，即使这些变量与解题无关。这种能力并非数据所教，而是模型自行掌握的。作者认为，这可能是通用人工智能中“通用”一词的来源，即模型能超越数据集所教的技能，学会更通用的信息梳理能力。
错误可预测：心算失误导致系统性错误
模型犯错主要有两类：计算不必要的变量和计算当前不可算的变量。这些错误源于心算失误，例如误判某个变量为必要。通过探针技术，可以在模型生成第一个token之前就预测其是否会犯错，表明许多错误是系统性的，与生成过程中的随机性无关。这为改进模型推理能力提供了方向。
Q&A
大语言模型（LLM）如何进行推理？
大语言模型通过心算和推理技能来解题，能够进行一级推理和二级推理，前者关注必要变量，后者则处理无关信息。
研究中提到的iGSM数据集有什么作用？
iGSM数据集用于控制实验，专门研究模型的推理能力，确保模型接触的问题类别不受其他因素影响。
模型在推理过程中常犯哪些错误？
模型主要犯两类错误：计算不必要的变量和计算当前不可算的变量，这与心算错误有关。
为什么模型的深度比宽度更重要？
模型的深度对推理能力至关重要，因为心算的复杂性需要更多层数来处理与问题变量的关系。
GPT-4在推理能力上有什么限制？
即使是GPT-4，在iGSM数据集上也只能进行最多10步的推理，显示出其推理能力的局限性。
研究对大模型缩放定律有何反驳？
研究反驳了大模型缩放定律，强调模型的表现与深度相关，而不仅仅是参数数量，深度更为重要。
