本文探讨了知识蒸馏（KD）及其最新进展，提出了无教师知识蒸馏（Tf-KD）框架，以提升学生模型性能。研究了渐进知识蒸馏和知识蒸馏作为有效预训练（KDEP），并提出了学生友好的知识蒸馏方法（SKD）。实验结果表明，这些方法在多个数据集上表现优异，展示了知识蒸馏在深度学习中的潜力。