本研究通过引入混合助手模型解决了知识蒸馏中教师和学生模型架构差异导致的特征间隙问题。使用空间无关的InfoNCE损失优化特征对齐，在CIFAR-100和ImageNet-1K数据集上显著提升了性能。

Distilling Knowledge from Arbitrary Teachers and Students via Hybrid Assistants
BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 ·
👤 个人中心
在公众号发送验证码完成验证