本研究提出了Residual Knowledge Distillation (RKD)和加权平均知识蒸馏（WAKD）等多种知识蒸馏方法，旨在提升模型压缩效果和训练效率。这些方法在多个数据集上表现优异，有效解决了容量差距和错误监督问题，推动了知识蒸馏领域的发展。

该文综述知识蒸馏研究，涵盖CKA对齐度量易被操纵、CCKD用泰勒核捕获实例相关性、对比知识融合实现类内凝聚与类间分离、少教师推理蒸馏提出比较式知识蒸馏、RKD迁移样本关系、KA与DTD惩罚错误监督、OFA-KD解决异构蒸馏、R2KD结合关联距离与剪枝、DCKD利用多学生知识、自适应可靠度稳定知识转移。