BriefGPT - AI 论文速递 · 2024-10-16T00:00:00Z Distilling Knowledge from Arbitrary Teachers and Students via Hybrid Assistants 💡 原文英文，约100词，阅读约需1分钟。 📝 内容提要 本研究通过引入混合助手模型解决了知识蒸馏中教师和学生模型架构差异导致的特征间隙问题。使用空间无关的InfoNCE损失优化特征对齐，在CIFAR-100和ImageNet-1K数据集上显著提升了性能。 🏷️ 标签 InfoNCE损失 性能提升 混合助手模型 特征对齐 知识蒸馏 阅读原文 生成长图 分享链接 已复制链接
