TinyLLM: 从多个大型语言模型中学习一个小型学生
内容提要
本文综述知识蒸馏技术，旨在将大语言模型的推理能力迁移至小模型。方法包括思维链微调、多轮互动学习、分步蒸馏和混合蒸馏，在算术、常识与符号推理任务上效果显著。例如，T5 XXL经微调后GSM8K准确率从8.11%提升至21.99%；770M T5可胜过540B PaLM。小模型参数缩小百倍仍保持性能，推动推理能力普及。
延伸解读
小模型逆袭：参数少百倍，性能反超
文章指出，通过知识蒸馏，小模型能在特定任务上超越大模型。例如，770M T5在部分任务上胜过540B PaLM，而参数缩小百倍仍保持性能。这挑战了“模型越大越好”的固有认知，说明高质量蒸馏数据和训练策略可能比单纯增加参数更关键。
蒸馏不止模仿：思维链与多轮互动
文章综述的方法不仅让小学生模仿教师的输出概率，还引入思维链微调、多轮互动学习和自我反思。例如，在PaLM-540B生成的思考链上微调后，T5 XXL在GSM8K准确率从8.11%提升至21.99%。这表明蒸馏可以传递推理过程，而不仅是最终答案。
数据效率：更少标注，更好表现
Distilling step-by-step机制使用远少于传统微调或蒸馏所需的标注数据，就能让770M T5胜过540B PaLM。文章提到仅用80%的可用数据即可实现。这对标注成本高的领域很有价值，意味着小模型也能在有限数据下获得强推理能力。
局限与风险：逻辑缺陷与反事实答案
文章也指出，大型语言模型在逻辑推理上存在缺陷，可能产生反事实答案。为此，研究者提出赋予LLM逻辑推理能力，并构建LMM-LR数据集进行评估。这说明蒸馏并非万能，学生模型可能继承教师的推理错误，需要额外约束和训练来提升逻辑一致性。
Q&A
知识蒸馏如何将大语言模型的推理能力迁移到小模型？
知识蒸馏通过让小型学生模型模仿大型教师模型的输出概率或推理过程来迁移能力。具体方法包括思维链微调、多轮互动学习、分步蒸馏和混合蒸馏等，使学生模型在算术、常识和符号推理任务上表现显著提升。
小模型经过蒸馏后，在推理任务上的效果提升有多大？
效果提升显著。例如，T5 XXL经思维链微调后，在GSM8K数据集上的准确率从8.11%提升至21.99%；770M T5模型可胜过540B PaLM；8000万参数的模型在ARC-Easy数据集少样本情况下超过了BLOOM-176B的性能。
有哪些具体的知识蒸馏方法被提出来提升小模型的推理能力？
文章提到了多种方法：思维链微调、多轮互动学习与自我反思学习、分步蒸馏（Distilling step-by-step）、混合蒸馏（Mixed Distillation）、基于表格推理的蒸馏、负面样本蒸馏、以及Sci-CoT两阶段框架等。
蒸馏后的小模型在参数规模上能缩小多少？
学生模型的参数大小可缩小至0.1M至0.02M，相较于原始输出模型大小减小了100倍和10倍。例如，770M T5模型能胜过540B PaLM，参数缩小百倍仍保持性能。
知识蒸馏在哪些任务类型上效果显著？
在算术推理（如GSM8K）、常识推理和符号推理数据集上效果显著。此外，在科学问答（如ARC-Easy）、表格推理和文本生成（如SciGen）等任务上也表现出色。
Distilling step-by-step机制有什么特别之处？
Distilling step-by-step通过在多任务训练框架内提取LLM的推理依据（rationales）作为小型模型的附加监督，使用远少于微调或蒸馏所需的标注数据，就能训练出比LLM更小且表现更好的模型。例如，仅用80%的可用数据，770M T5模型就能胜过540B PaLM。
