打破类别障碍：通过跨类别特征补偿器实现高效的数据集蒸馏
原文中文，约400字，阅读约需1分钟。发表于：。本研究解决了现有数据集蒸馏方法中由于类特定合成范式导致的性能瓶颈问题。提出的跨类别特征补偿器(INFER)通过通用特征补偿器(UFC)改善类间特征整合，极大提高了蒸馏预算的利用效率，并增强了蒸馏数据的有效性与泛化能力。此方法在优化合成数据方面取得显著成效，并为数据集蒸馏设立了新的效率和效果基准。
最近的研究发现，使用预训练教师模型生成的软标签在数据集蒸馏中具有优势。本文提出了一种新的方法GIFT，通过优化软标签和使用余弦相似性的损失函数，充分利用标签信息。实验证明，GIFT方法在各种规模的数据集蒸馏中提升了性能，而不增加计算成本。
