知识蒸馏是一种训练小型模型模仿大型模型行为的方法，与模型压缩不同，它生成独立模型。通过软标签传递更多信息，学生模型能超越原始数据学习。主要方法包括输出蒸馏、特征蒸馏和合成数据蒸馏，其中合成数据蒸馏最常用。蒸馏在窄任务上表现优异，但受限于教师模型能力、容量差距和架构影响，且可能传递非预期特征。自动化蒸馏正减少人工干预。