该文综述知识蒸馏研究，涵盖CKA对齐度量易被操纵、CCKD用泰勒核捕获实例相关性、对比知识融合实现类内凝聚与类间分离、少教师推理蒸馏提出比较式知识蒸馏、RKD迁移样本关系、KA与DTD惩罚错误监督、OFA-KD解决异构蒸馏、R2KD结合关联距离与剪枝、DCKD利用多学生知识、自适应可靠度稳定知识转移。