本文综述知识蒸馏技术，旨在将大语言模型的推理能力迁移至小模型。方法包括思维链微调、多轮互动学习、分步蒸馏和混合蒸馏，在算术、常识与符号推理任务上效果显著。例如，T5 XXL经微调后GSM8K准确率从8.11%提升至21.99%；770M T5可胜过540B PaLM。小模型参数缩小百倍仍保持性能，推动推理能力普及。

该文综述大语言模型思维链（CoT）微调研究，涵盖MCMC-EM最大化边际似然（在GSM8K等任务上优于STaR）、嘈杂标签辅助微调、CoF-CoT分解NLU任务、CoT减少性别偏见、CoTT提升小模型表现、NoisyTune加噪改进微调、R3提示增强噪声下推理鲁棒性，以及CoT解释忠实度问题。