![通过知识蒸馏实现的隐式思维链推理 [译]](https://baoyu.io/images/translations/implicit-chain-of-thought-reasoning-via-knowledge-distillation/figure1.png)
通过知识蒸馏实现的隐式思维链推理 [译]
内容提要
本文提出隐式思维链推理：不逐字输出中间步骤，而是通过知识蒸馏将显式思维链教师模型各层隐藏状态压缩为纵向状态序列，训练学生模型直接给出答案。方法分三步：读取教师隐藏状态、训练模拟器预测状态、联合端到端优化。在多位数乘法和小学数学题上，GPT-2中型模型可直接解决五位数乘法，准确率达96%，GSM8K达22%，速度接近无思维链推理。局限是可解释性差，性能仍不及显式思维链。
延伸解读
隐式思维链的适用条件与模型规模
文章实验显示，隐式思维链的效果与模型层数密切相关。GPT-2小型模型在四位数乘法上准确率达97%，但五位数乘法骤降至10%；而中型模型（24层）在五位数乘法上保持96%。作者推测，隐式推理需要足够的层数来承载中间计算步骤。这意味着该方法并非普适，模型容量不足时可能无法内化复杂推理。
速度优势与准确率代价的权衡
隐式思维链直接输出答案，省去了生成中间步骤的时间。在五位数乘法任务上，GPT-2中型模型的吞吐量达到无CoT基线的73%，而显式CoT仅为14%。但在GSM8K数据集上，隐式CoT准确率22%，显式CoT达44%。可见，隐式方法以牺牲部分准确率为代价换取速度，适合对延迟敏感且可容忍一定错误的场景。
可解释性缺失与内部推理的不可读性
隐式思维链将推理过程压缩在隐藏状态中，不再输出人类可读的中间步骤。文章附录显示，经过联合优化后，模型预测的混合组件与人类理解的推理步骤不再匹配，甚至准确率归零。这虽然可能意味着模型形成了独特的内部推理机制，但也导致无法追溯其决策依据，在需要审计或调试的场景中构成明显局限。
训练依赖大量合成数据与教师模型
该方法需要先训练一个显式CoT教师模型，再通过知识蒸馏将推理能力迁移给学生模型。实验中使用了80万条合成乘法算式和37.9万道GPT-4生成的数学题（GSM8K-Aug）。作者指出，隐式CoT需要大量训练数据，这与传统预训练语言模型不同。因此，实际应用时需考虑数据生成成本和教师模型的质量。
Q&A
隐式思维链推理和显式思维链推理有什么区别？
显式思维链推理要求模型逐字输出中间推理步骤，而隐式思维链推理不输出中间步骤，而是通过模型内部的隐藏状态进行推理。具体来说，隐式方法将教师模型各层的隐藏状态压缩为纵向状态序列，训练学生模型直接给出答案，从而在推理时更快，但可解释性较差。
隐式思维链推理具体是怎么实现的？
实现分为三步：1）读心术教师：训练学生模型利用教师模型的隐藏状态来生成答案；2）思维模仿：通过知识蒸馏训练一个模拟器，从输入预测教师的隐藏状态；3）结合与优化：将模拟器与学生模型结合，进行端到端优化，使学生能直接输出答案。
隐式思维链推理在数学任务上的效果如何？
在多位数乘法任务上，GPT-2中型模型使用隐式思维链后，五位数乘法的准确率达到96%，而不用思维链时仅为2%。在小学数学数据集GSM8K上，隐式思维链达到22%的准确率，优于不用思维链的17%，但低于显式思维链的44%。
隐式思维链推理的速度比显式思维链快多少？
隐式思维链推理速度接近无思维链推理。例如，在GPT-2中型模型上进行五位数乘法时，隐式思维链的吞吐量是无思维链的73%，而显式思维链仅为14%。这是因为隐式方法直接输出答案，无需生成中间步骤。
隐式思维链推理有哪些局限性？
主要局限性包括：1）缺乏透明度和可解释性，因为推理过程隐藏在内部状态中，难以理解模型如何得出结论；2）性能仍不及显式思维链，在GSM8K上准确率较低；3）方法仍大量借鉴教师模型的推理方式，尚未完全自主形成独特推理路径。
隐式思维链推理中如何处理多种可能的推理路径？
对于存在多种推理路径的情况（如小学数学题中不同的运算顺序），方法采用混合模型：模拟器预测多个可能状态的混合分布，而不是单一状态。通过引入混合组件，并与中间步骤的token对应，避免模式崩塌，提高预测准确性。
