本文综述知识蒸馏的最新进展，提出了KED、TIE-KD、CKD、e²KD、IE-KD、EKD、MTKD、DearKD和Monitored Distillation等方法，分别从教师解释、top-1预测、少教师推理、解释相似度、继承探索、评估指标、多教师、早期归纳偏差和无真值深度估计等角度改进蒸馏，实验均优于基准。