BriefGPT - AI 论文速递 · 2024-05-23T00:00:00Z

GIFT：在接近零成本的缩减数据集中挖掘标签的全部潜力

📝

内容提要

最近的研究表明，使用预训练教师模型生成的软标签在数据集蒸馏中具有优势。本文提出了一种新的方法GIFT，通过优化软标签和使用余弦相似性的损失函数，充分利用标签信息。实验证明，GIFT方法在各种规模的数据集蒸馏中提升了性能。