该文综述知识蒸馏研究，涵盖深度集体蒸馏、回归蒸馏、Mixup蒸馏、数据无关压缩、数据集精简、边缘设备压缩及交通预测等方法。这些方法通过师生模型转移知识来提升小模型性能，在ImageNet、CIFAR等数据集上取得先进结果，并探讨未来方向。