该文综述知识蒸馏研究，涵盖DistiLLM、GKD、MiniLLM、MixKD、RKD等方法，涉及散度优化、数据增强、多任务与多教师学习，旨在压缩自回归语言模型并提升性能与效率。