通过混合思维提炼，提高小型语言模型的数学推理能力
内容提要
该文综述了通过知识蒸馏将大语言模型推理能力迁移到小模型的研究。核心方法包括：融合思维链与程序化思维的混合蒸馏框架、提取自我评价能力以减少错误推理和幻觉、分离推理步骤与答案生成的两阶段框架、符号化思维链蒸馏，以及利用隐藏状态进行隐式推理。实验表明，蒸馏后的小模型在科学问答、数学、常识和符号推理等任务上显著提升，部分甚至超越更大模型。
延伸解读
混合蒸馏：融合两种推理范式
文章介绍的混合蒸馏框架将大语言模型的程序化思维（Program-of-Thought）和思维链（Chain-of-Thought）能力同时迁移到小模型。这种双重路径不同于传统单一蒸馏，能更全面地覆盖推理模式，并在多路径推理中表现出较高准确度。读者可关注其如何平衡两种范式的权重与训练策略。
自我评价蒸馏：减少错误与幻觉
文章提出将大模型的自我评价能力提取到小模型中，旨在减少错误推理和幻觉。这一思路强调小模型不仅学习推理步骤，还要学会评估自身输出的合理性。结合多种链式思维与自我评价范式进行综合蒸馏，可提升知识转移的稳健性，为开发更接近人类认知的小模型提供方向。
两阶段框架：分离推理与答案生成
Sci-CoT 框架将生成推理步骤和生成答案分为两个阶段，在科学问答任务中利用推理步骤更有效地推理。实验显示，8000 万参数的模型在 ARC-Easy 少样本情况下超过了 BLOOM-176B 的性能。这种分离设计有助于小模型聚焦推理过程，避免答案生成干扰推理质量。
隐式推理与符号化蒸馏的补充路径
文章还提及利用语言模型内部隐藏状态进行隐式推理，无需显式思维链即可解决此前无法处理的任务。同时，符号化思维链蒸馏（SCoTD）在常识基准上提升了远小于 50B 参数模型的性能。这些方法表明，推理能力迁移不限于文本层面的思维链，还可借助隐藏状态和符号化表示。
Q&A
混合思维蒸馏框架是如何提升小模型数学推理能力的？
混合思维蒸馏框架将大语言模型的程序化思维（Program-of-Thought）和思维链（Chain-of-Thought）能力转移到较小模型中，通过结合多种不同的链式思维和自我评价范式，实现更全面、更稳健的知识转移，从而提升小模型的数学推理性能，并优于传统蒸馏方法。
知识蒸馏如何减少小模型的错误推理和幻觉？
通过将大语言模型固有的自我评价能力提取到小模型中，小模型可以对自己的推理进行评价，从而减少错误推理和幻觉的不利影响。
Sci-CoT两阶段框架在科学问答任务中有什么效果？
Sci-CoT框架通过分离生成推理步骤和推理答案的过程，在科学问答任务中利用推理步骤更有效地进行推理，使得8000万参数的模型在ARC-Easy数据集的少样本情况下超过了BLOOM-176B的性能。
符号化思维链蒸馏（SCoTD）方法有什么特点？
SCoTD方法在大语言模型的注释和参数指导下，训练参数远低于50B的较小模型，在几种常识基准测试中，有监督和少样本学习环境下均能提高性能。
隐式推理如何利用隐藏状态解决以前无法解决的任务？
隐式推理使用语言模型的内部隐藏状态，通过垂直在不同层的隐藏状态中进行推理，无需进行明确的思维链推理，从而解决以前无法解决的任务。
蒸馏后的小模型在哪些任务上性能提升显著？
蒸馏后的小模型在科学问答、数学、常识和符号推理等任务上性能显著提升，部分甚至超越更大模型。例如，在PaLM-540B生成的思考链上微调后，T5 XXL在GSM8K的准确率从8.11%提高至21.99%。
