本文综述了教师-学生架构下的知识蒸馏方法，包括知识压缩、扩展、适应和增强。研究了Born-Again Networks (BANs)在计算机视觉和语言建模中的表现，提出了改进的知识蒸馏技术，如Annealing-KD和比较式知识蒸馏（CKD），并探讨了在大规模预训练模型时代有效转移知识以提升学生模型性能的方法。

本文综述知识蒸馏在教师-学生架构中的进展，涵盖异常检测、图像分类和目标检测等应用。方法包括反向蒸馏、双重掩蔽蒸馏、不对称师生网络和跨域蒸馏等，通过传递中间特征与概率分布提升学生网络性能，在多个基准上超越现有方法。