自回归语言模型的知识蒸馏再探讨
内容提要
该文综述知识蒸馏研究，涵盖DistiLLM、GKD、MiniLLM、MixKD、RKD等方法，涉及散度优化、数据增强、多任务与多教师学习，旨在压缩自回归语言模型并提升性能与效率。
延伸解读
知识蒸馏在自回归语言模型中的挑战
自回归语言模型在训练和生成阶段存在输出序列差异，这导致传统知识蒸馏方法效果受限。文章指出，GKD通过优化替代散度方法处理模型不充分问题，而MiniLLM利用KL散度防止学生模型过度估计教师分布的低概率区域。这些方法针对生成式模型的特点，试图解决训练与推理不一致的核心难点。
效率与性能的平衡策略
DistiLLM通过倾斜的KL散度损失和自适应离策略方法，在构建高性能学生模型的同时，相比近期方法获得最高4.3倍加速。MixKD则利用Mixup数据增强，降低实践性问题影响，提升泛化能力，适用于低资源平台。这些工作表明，知识蒸馏不仅关注压缩，也注重训练和推理效率的优化。
多教师与多任务学习的融合
文章提到基于多任务学习的蒸馏方法，适用于不同教师架构，具有更好语言表达和更快推理速度。多教师多层框架通过自适应学习实例级教师重要性权重，集成高级知识，并从多个教师处汇集中间级知识。这些方法扩展了蒸馏的知识来源，提升了学生模型的性能。
知识蒸馏的层次与失败诊断
研究探讨了知识蒸馏的三个层次：宇宙、领域和实例，发现这些因素在蒸馏中起重要作用。通过大量实证研究，诊断了某些知识蒸馏应用失败的情况。这提示读者，蒸馏效果受多层面因素影响，需根据具体场景调整策略，而非简单套用现有方法。
Q&A
DistiLLM是什么？它有什么优势？
DistiLLM是一种更有效和高效的知识蒸馏框架，适用于自回归语言模型。它通过引入倾斜的Kullback-Leibler散度损失和自适应的离策略方法，构建高性能的学生模型，并相较于最近的知识蒸馏方法获得最高4.3倍的加速比。
GKD方法解决了什么问题？
GKD（Generalized Knowledge Distillation）旨在解决在训练和生成阶段输出序列之间的差异，并通过优化替代的发散方法来处理模型不充分的问题。实验证明，GKD在压缩生成语言模型时表现优异。
MixKD是如何提升大规模语言模型泛化能力的？
MixKD利用Mixup数据扩充技术，是一种数据不可知的蒸馏框架，能大幅度降低一些实践性问题的影响，提升大规模语言模型的泛化能力，实现比标准KD培训更好的性能表现，并能用于低资源平台上的应用。
MiniLLM为什么能防止学生模型过度估计教师分布的低概率区域？
MiniLLM利用Kullback-Leibler散度，会防止学生模型过度估计教师分布的低概率区域，从而实现从生成式语言模型中提取出更小的语言模型。在指令遵循情况下进行了广泛的实验，证明了MiniLLM模型的性能表现更佳。
多教师多层知识蒸馏学习框架有什么特点？
该框架通过将每个教师与潜在表示相关联，自适应地学习实例级教师重要性权重，从而获取集成的高级知识，并通过多组提示策略从多个教师处汇集中间级知识。实验表明，该方法确保学生比强竞争者取得了更好的性能。
RKD方法解决了知识蒸馏中的什么问题？
RKD（Residual Knowledge Distillation）通过引入辅助器来进一步提炼知识，从而解决现有方法由于学习容量间的巨大差距而导致的性能下降问题，并在CIFAR-100和ImageNet等流行分类数据集上取得优异的成果，超过了现有方法的最新水平。
