本文综述大语言模型知识蒸馏研究，提出PaD、MiniLLM、TinyLLM等方法，将LLM推理能力迁移至小模型，减少参数与标注数据，提升推理准确率，并应用于教育评分、药物推荐等领域，弥合开源与专有模型差距。

本文综述知识蒸馏技术，旨在将大语言模型的推理能力迁移至小模型。方法包括思维链微调、多轮互动学习、分步蒸馏和混合蒸馏，在算术、常识与符号推理任务上效果显著。例如，T5 XXL经微调后GSM8K准确率从8.11%提升至21.99%；770M T5可胜过540B PaLM。小模型参数缩小百倍仍保持性能，推动推理能力普及。

该文综述了通过知识蒸馏将大语言模型推理能力迁移到小模型的研究。核心方法包括：融合思维链与程序化思维的混合蒸馏框架、提取自我评价能力以减少错误推理和幻觉、分离推理步骤与答案生成的两阶段框架、符号化思维链蒸馏，以及利用隐藏状态进行隐式推理。实验表明，蒸馏后的小模型在科学问答、数学、常识和符号推理等任务上显著提升，部分甚至超越更大模型。