本文综述知识蒸馏技术，旨在将大语言模型的推理能力迁移至小模型。方法包括思维链微调、多轮互动学习、分步蒸馏和混合蒸馏，在算术、常识与符号推理任务上效果显著。例如，T5 XXL经微调后GSM8K准确率从8.11%提升至21.99%；770M T5可胜过540B PaLM。小模型参数缩小百倍仍保持性能，推动推理能力普及。