本文介绍了多种无数据蒸馏方法，特别是AS-DFD和DFKD-T^3框架，旨在压缩大型Transformer模型并提升NLP任务性能。这些方法在文本分类和情感分析等任务中表现优异，生成的文本可用于蒸馏其他模型，超越现有技术水平。

该文综述多种知识蒸馏方法：MGD通过掩码引导学生恢复教师完整特征；将多步去噪压缩为单步以加速图像生成；DiffKD基于扩散模型去噪匹配特征；面向目标检测的语义引导特征模仿与对比蒸馏；GID利用判别性实例蒸馏；借助教师归一化层统计实现无数据知识迁移；以公共基向量度量全局知识；DDAD用生成样本做无数据蒸馏；细粒度特征模拟提升小模型检测性能；生成模型蒸馏用于视频动作识别。