大模型如何教会小模型变聪明
内容提要
知识蒸馏是一种训练小型模型模仿大型模型行为的方法，与模型压缩不同，它生成独立模型。通过软标签传递更多信息，学生模型能超越原始数据学习。主要方法包括输出蒸馏、特征蒸馏和合成数据蒸馏，其中合成数据蒸馏最常用。蒸馏在窄任务上表现优异，但受限于教师模型能力、容量差距和架构影响，且可能传递非预期特征。自动化蒸馏正减少人工干预。
延伸解读
蒸馏与压缩的本质区别
知识蒸馏并非模型压缩，而是训练一个全新的独立模型。压缩（如量化、剪枝）是在原模型基础上减小体积，而蒸馏是让学生模型模仿教师模型的行为，拥有自己的参数和架构。因此，蒸馏后的模型可能表现出教师不具备的行为，理解这一区别有助于正确看待蒸馏模型的能力。
软标签为何更有效
教师模型输出的软标签（如猫0.70、狗0.25、狐狸0.05）比硬标签（仅“猫”）包含更多信息，揭示了类别间的关联，即“暗知识”。学生模型学习整个概率分布，而非单一答案，因此能从更少样本中学习，并可能超越原始数据。这是蒸馏有效的核心原因。
合成数据蒸馏为何最常用
三种蒸馏方法中，合成数据蒸馏最普遍，因为它只需教师模型的文本输出，无需访问内部概率或特征。许多强大模型仅通过API提供文本，内部信息不可得，因此生成数据成为唯一可行途径。这也使得蒸馏可以应用于闭源模型，扩大了其适用范围。
蒸馏的局限与风险
蒸馏并非万能：教师模型的能力上限会限制学生；教师与学生规模差距过大时，性能可能下降；架构比参数数量更重要；教师可能传递非预期特征（如偏好），且过滤可见数据难以阻止。因此，蒸馏更适合窄任务，而非广泛通用能力。
Q&A
什么是知识蒸馏？它与模型压缩有什么区别？
知识蒸馏是一种训练小型模型（学生）模仿大型模型（教师）行为的方法。与模型压缩（如量化和剪枝）不同，压缩是在原有模型基础上减小体积，而蒸馏是训练一个全新的独立模型，其参数和架构可能不同，但行为上模仿教师模型。
为什么学生模型从教师模型的输出中学习能比从原始标签学习效果更好？
因为教师模型的输出是软标签，即一组概率分布，包含了类别之间的关联信息（称为暗知识），而原始标签是硬标签，只给出一个正确答案。软标签提供了更丰富的训练信号，使学生模型能学到更多知识，甚至超越原始数据。
知识蒸馏主要有哪几种方法？哪种最常用？
主要有三种：输出蒸馏（匹配教师最终输出）、特征蒸馏（匹配教师内部表示）、合成数据蒸馏（教师生成数据集供学生微调）。其中合成数据蒸馏最常用，因为它只需要教师生成的文本，适用于无法访问内部状态的封闭模型。
知识蒸馏在实际应用中有哪些成功案例？
例如，DeepSeek在2025年用大型推理模型生成训练数据，微调出7B参数的学生模型，在数学竞赛基准上超过了32B参数的模型。此外，Google的Gemma模型也使用了蒸馏技术。这些案例表明蒸馏在窄任务上效果显著。
知识蒸馏有哪些局限性？
局限性包括：教师模型的能力上限会限制学生；教师和学生规模差距过大时转移效果会下降；基础架构比参数数量更重要；蒸馏可能传递非预期特征（如偏见）。此外，蒸馏在窄任务上表现好，但在广泛通用知识上不如大模型。
知识蒸馏未来的发展方向是什么？
未来方向是自动化蒸馏，即让大模型自动完成数据生成、微调、评估和迭代，减少人工干预。但教师模型的选择对结果影响很大，自动化使这一选择更加关键。
