本文提出了一种新的知识蒸馏方法，称为比较式知识蒸馏（CKD），旨在减少对教师模型推理的依赖。CKD通过对比学习帮助学生模型理解教师模型的微妙差异，提供额外学习信号。实验表明，CKD在多种设置下优于现有技术，提升了图像分类和目标检测任务的性能和训练效率。

本文介绍了多种知识蒸馏方法，包括数据无关知识蒸馏（DFKD）、反事实知识蒸馏（CFKD）和比较式知识蒸馏（CKD），旨在提升学生模型性能，减少对教师模型的依赖。实验结果显示，这些方法在多个数据集上显著提高了准确率，尤其在处理异构数据和无数据环境下表现突出。

本文综述知识蒸馏研究进展，提出KED框架使学生从教师解释中学习，针对少教师推理场景提出CKD方法，探讨宇宙、领域、实例三层次，并涉及KCD、IE-KD、KA、DTD等新方法，发现蒸馏可增强模型可解释性、降低随机梯度噪声。

本文介绍了一种面向少教师推理的知识蒸馏方法（FTI KD），通过比较式知识蒸馏（CKD）来减少对教师模型推理的依赖。CKD 在各种实验设置下始终优于最先进的数据增强和知识蒸馏技术。