生成去噪蒸馏:简单随机噪声在密集预测中有效传递知识
内容提要
该文综述多种知识蒸馏方法:MGD通过掩码引导学生恢复教师完整特征;将多步去噪压缩为单步以加速图像生成;DiffKD基于扩散模型去噪匹配特征;面向目标检测的语义引导特征模仿与对比蒸馏;GID利用判别性实例蒸馏;借助教师归一化层统计实现无数据知识迁移;以公共基向量度量全局知识;DDAD用生成样本做无数据蒸馏;细粒度特征模拟提升小模型检测性能;生成模型蒸馏用于视频动作识别。
延伸解读
从特征模仿到生成式蒸馏的演进
文章梳理的多种方法显示,知识蒸馏正从直接模仿教师特征,转向利用生成或去噪过程传递知识。MGD通过掩码让学生恢复完整特征,DiffKD用扩散模型去噪匹配特征,去噪蒸馏则将多步生成压缩为单步。这些思路的共同点是不再只做简单对齐,而是让学生主动重建或生成教师表征,从而在密集预测任务中更有效地传递知识。
无数据蒸馏的两种实现路径
在缺乏原始训练数据时,文章提到两类做法:一是利用教师归一化层统计信息训练生成模型,实现无数据知识迁移;二是DDAD直接生成样本训练学生网络。前者依赖教师内部统计,后者依赖生成样本质量。两者都试图绕开真实数据,但效果受生成样本与教师统计的保真度影响,实际应用时需关注生成质量是否足以支撑学生逼近教师。
目标检测蒸馏的针对性设计
面向目标检测,文章介绍了语义引导特征模仿与对比蒸馏、GID的判别性实例蒸馏,以及细粒度特征模拟。这些方法针对检测任务中区域信息编码和复杂场景下的性能瓶颈,让学生聚焦于目标附近或判别性实例。细粒度特征模拟报告学生性能提升15%到74%,说明检测蒸馏需要结合任务结构设计,而非通用特征对齐即可。
Q&A
Masked Generative Distillation (MGD) 是怎么工作的?
MGD 通过简单的掩码方式强制学生生成教师的完整特征,引导学生进行特征恢复,从而在图像分类、目标检测等任务中表现良好。
DiffKD 知识蒸馏方法有什么特点?
DiffKD 基于扩散模型显式去噪和匹配特征,以更好地实现精简干净特征和教师特征的蒸馏,在图像分类、对象检测和语义分割任务中均取得了最先进的性能。
目标检测中的知识蒸馏有哪些改进方法?
包括语义引导特征模仿与对比蒸馏(适用于同质和异质教师-学生,捕捉区域信息编码关系)、GID(利用判别性实例,在COCO上甚至超过教师模型)以及细粒度特征模拟(让学生模仿教师目标附近区域,性能提升15%到74%)。
无数据知识蒸馏是如何实现的?
有两种方式:一是利用教师网络内在归一化层的统计信息训练生成图像模型,实现无数据知识迁移;二是DDAD方法通过生成样本训练学生网络接近教师网络。
如何将多步去噪过程压缩为单步来加速图像生成?
通过知识蒸馏将多步去噪过程压缩为单步,无需对抗训练,去噪学生模型能生成与GANs相当的高质量样本,并可以扩展到更高像素的图像生成任务。
知识蒸馏在视频动作识别中有什么应用?
利用生成模型训练轻量级学生模型,通过特征表示和基于生成模型的特征蒸馏阶段,转移基于注意力的特征语义,在视频动作识别任务中显示出显著的性能改进。