自我蒸馏：填补语言模型微调中的分布差距
内容提要
本文综述多种知识蒸馏与自蒸馏方法：SDFT利用预训练扩散模型特征提升小数据集生成；Distilling step-by-step以LLM推理为监督，用更少数据训练更小更优模型；动态自纠正自蒸馏增强预训练语言模型微调；generation-distillation缩小大模型与小模型差距；自集成与自蒸馏改进BERT微调；SDRRL提升多语言性能；AS-DFD实现无数据蒸馏；多级蒸馏用于OoD检测；Mixed Distillation迁移思维链能力；L2KD缓解持续学习遗忘。
延伸解读
自蒸馏在微调中的核心作用
文章综述的多种自蒸馏方法，如动态自纠正自蒸馏、自我集成与自蒸馏改进BERT微调，均聚焦于提升预训练语言模型在下游任务上的微调效果。这些方法通过迭代自我纠正或集成机制，增强模型适应性和鲁棒性，表明自蒸馏能有效填补微调中的分布差距，而无需依赖外部教师模型。
数据高效的知识转移策略
Distilling step-by-step和generation-distillation等方法强调利用大模型生成推理或数据，以更少标注样本训练小模型。例如，Distilling step-by-step使用80%数据让770M T5胜过540B PaLM，而generation-distillation以更少参数达到BERT可比性能。这展示了自蒸馏在数据稀缺场景下的实用价值。
跨任务与多语言场景的扩展
SDRRL提升多语言性能且最小化对资源丰富语言的影响，L2KD缓解持续学习中的遗忘，Mixed Distillation迁移思维链能力。这些方法将自蒸馏从单一任务扩展到多语言、持续学习和复杂推理，说明其通用性，但文章未提供具体性能数据，实际效果需进一步验证。
Q&A
自我蒸馏在语言模型微调中主要解决什么问题？
自我蒸馏旨在填补语言模型微调中的分布差距，通过利用模型自身或教师模型的知识来增强微调效果，提升下游任务性能和鲁棒性。
Distilling step-by-step 方法有什么特别之处？
该方法通过在多任务训练框架内提取 LLM 的推理理由作为小型模型的附加监督，使用更少的标注数据训练出比 LLM 更小但表现更好的模型。例如，仅用 80% 的数据，770M T5 就能胜过 540B PaLM。
动态自纠正自蒸馏如何提升预训练语言模型的微调效果？
它通过迭代的自我纠正过程显著增强预训练语言模型的微调能力，在各种下游任务中提高性能和鲁棒性。
有哪些自蒸馏方法可以改进 BERT 的微调？
自我集成和自我蒸馏是两种有效机制，实验证明它们可以显著提高 BERT 的适应性。
AS-DFD 是什么？它有什么特点？
AS-DFD 是一种新的两阶段无数据蒸馏方法，用于压缩大型基于 Transformer 的模型（如 BERT），是第一个面向 NLP 任务设计的无数据蒸馏框架，在文本分类数据集上验证了有效性。
L2KD 方法如何解决持续学习中的遗忘问题？
L2KD 通过教师模型将新任务的知识蒸馏给现有的 LLL 模型，使模型适应新任务的同时保留先前知识，在顺序生成和文本分类任务上表现优于之前的最先进模型。
