打破类别障碍：通过跨类别特征补偿器实现高效的数据集蒸馏
内容提要
本文探讨了数据集蒸馏的多种方法及应用，提出使用合成标签和元学习算法以提升模型性能。研究表明，软标签在数据集精馏中具有显著优势，并强调损失函数选择的重要性。新方法GIFT有效提升了数据集蒸馏效果，且不增加计算成本。
延伸解读
软标签为何成为数据集蒸馏的关键
文章指出，近期研究表明预训练教师模型生成的软标签在数据集蒸馏中具有显著优势。通过剔除实验发现，当前最先进方法的性能主要取决于是否使用软标签，而非生成合成数据的具体技术。软标签的有效性还与每类图像数量存在经验性规律，这挑战了传统方法，并为改进蒸馏方法提供了新方向。
GIFT方法：简单有效的即插即用提升
GIFT是一种即插即用方法，通过优化软标签和基于余弦相似性的损失函数来充分利用标签信息。实验证明，GIFT在不增加计算成本的情况下，持续提升各种规模数据集蒸馏方法的最先进水平。例如在ImageNet-1K上，当IPC=10时，GIFT将RDED在ConvNet和ResNet-18上的性能分别提升3.9%和1.8%。
损失函数选择对合成数据训练的影响
文章对用于数据集蒸馏的软标签利用的各种损失函数进行了全面比较，发现合成数据集上训练的模型对损失函数选择具有高度敏感性。这一发现凸显了开发通用损失函数的必要性，因为不同损失函数可能导致性能显著波动，影响蒸馏效果的稳定性。
跨架构泛化与评估方法ELF
针对蒸馏模型跨架构泛化能力不足的问题，文章提出了一种新颖的评估方法ELF，利用蒸馏模型的中间层特征进行跨架构评估，从无偏重的知识中学习。该方法旨在提高当前数据集蒸馏方法的跨架构泛化能力，为评估蒸馏模型提供了更全面的视角。
Q&A
什么是数据集蒸馏？
数据集蒸馏是将训练数据集压缩为较小版本，同时保持相似的下游性能的过程。
软标签在数据集蒸馏中有什么优势？
软标签在数据集蒸馏中具有显著优势，能够提高模型的准确率，并对损失函数选择敏感。
GIFT方法如何提升数据集蒸馏效果？
GIFT方法通过优化软标签和基于余弦相似性的损失函数，提升了数据集蒸馏效果，而不增加计算成本。
如何通过合成标签训练模型？
通过使用合成标签训练模型，可以比基于图像的方法更有效地提升模型性能。
逐步子集匹配策略的作用是什么？
逐步子集匹配策略解决了静态优化方法导致的合作问题，增强了模型性能。
数据集精馏方法的性能提升如何？
新提出的数据集精馏方法在特征分布匹配方面表现出色，性能提升可达6.6%。
