本文探讨了数据集蒸馏的多种方法及应用，提出使用合成标签和元学习算法以提升模型性能。研究表明，软标签在数据集精馏中具有显著优势，并强调损失函数选择的重要性。新方法GIFT有效提升了数据集蒸馏效果，且不增加计算成本。

Evo-ViT是一种自我驱动的视觉转换器加速方法，通过选择和更新令牌来提升图像分类性能。研究提出了自适应计算、稀疏训练框架和高效压缩方案等多种优化技术，显著降低计算成本并提高模型准确性，支持边缘计算设备的应用。