模型蒸馏将大型教师模型的知识迁移到小型学生模型，使其以更少参数达到接近性能并降低部署成本。主要方法包括基于响应（学习软标签中的暗知识）、基于特征、注意力蒸馏和自蒸馏。文章用PyTorch在MNIST上实现响应式蒸馏，学生准确率由97.74%提升至97.91%，并比较了量化、剪枝和低秩分解等压缩技术。