知识蒸馏中重新思考聚焦核对齐
内容提要
该文综述知识蒸馏研究，涵盖CKA对齐度量易被操纵、CCKD用泰勒核捕获实例相关性、对比知识融合实现类内凝聚与类间分离、少教师推理蒸馏提出比较式知识蒸馏、RKD迁移样本关系、KA与DTD惩罚错误监督、OFA-KD解决异构蒸馏、R2KD结合关联距离与剪枝、DCKD利用多学生知识、自适应可靠度稳定知识转移。
延伸解读
CKA对齐度量的脆弱性
文章指出，Centered Kernel Alignment (CKA) 对机器学习中的简单变化敏感，其值可以在不实质性改变模型功能行为的情况下被操纵。这意味着在使用CKA作为对齐度量时需谨慎，因为它可能无法可靠反映模型间的真实相似性，容易受到表面变化的影响。
异构蒸馏的特征对齐策略
针对异构教师和学生模型，OFA-KD通过将中间特征投影到对齐的潜空间（如logits空间）并丢弃体系结构特定信息，解决了特征差异问题。同时引入自适应目标增强防止无关信息干扰，在CIFAR-100和ImageNet-1K上分别提升学生模型最多8.0%和0.7%。
减少教师推理依赖的对比蒸馏
在少教师推理场景下，传统蒸馏和数据增强效果不佳。比较式知识蒸馏（CKD）受对比学习启发，鼓励学生理解教师对样本解释的微妙差异，无需额外教师调用即可提供学习信号，并扩展到样本组，在多种设置下优于现有技术。
关系与集体知识的迁移
关系知识蒸馏（RKD）迁移样本间关系，在度量学习任务上超越教师。深度集体知识蒸馏（DCKD）让学生从教师和其他学生中获取知识，增强类间相关性，在ImageNet和CIFAR-100上达到最先进性能。这些方法展示了知识迁移的多样性。
Q&A
CKA对齐度量在知识蒸馏中有什么潜在问题？
CKA值可以容易地被操纵而不需对模型做实质性的改变，因此在利用活动对齐度量时需谨慎。
CCKD框架是如何捕获实例间相关性的？
CCKD通过引入泰勒级数展开的广义核方法来捕获实例间的相关性。
对比知识融合（CKA）框架的目标是什么？
对比知识融合框架通过引入对比损失和对齐损失来实现类内凝聚和类间分离，以使学生能够学习多个异构教师自任务的适当决策边界。
比较式知识蒸馏（CKD）如何减少对教师模型的推理依赖？
CKD鼓励学生模型理解教师模型对样本解释的微妙差异，并为学生提供额外的学习信号，而无需进行额外的教师调用。
OFA-KD框架如何解决异构模型蒸馏的挑战？
OFA-KD通过将中间特征投影到对齐的潜空间（如logits空间）中，丢弃体系结构特定信息，并引入自适应目标增强方案来防止学生受到无关信息的干扰。
R2KD方法结合了哪些技术来提高知识蒸馏的稳健性？
R2KD结合了关联距离和网络修剪，并有效结合数据增强以提高模型性能。
