DeiT-LT：印度科学院提出针对长尾数据的`DeiT`升级模型 | CVPR 2024 - 晓飞的算法工程笔记
内容提要
DeiT-LT是一种在长尾数据集上应用的高效ViT模型，通过蒸馏CNN知识和使用分布外图像来增强对尾类的关注。DeiT-LT使用经过SAM训练的CNN教师来提取低秩泛化特征，通过训练方案，DIST和CLS标记成为尾类和头类的专家。DeiT-LT在长尾数据集上从头训练ViT，提高了性能。
延伸解读
长尾识别中ViT从头训练的新思路
现有ViT在长尾任务上常依赖大规模预训练，但预训练数据可能引入偏差且成本高昂。DeiT-LT提出无需预训练、从头训练ViT的方案，通过蒸馏CNN知识并利用分布外图像增强尾类关注，在小型和大规模长尾数据集上均取得良好性能，为资源有限的研究者提供了可行路径。
OOD蒸馏与DRW损失如何协同提升尾类性能
DeiT-LT使用强增强生成分布外图像进行蒸馏，即使教师模型未见过此类增强，学生仍能学习其归纳偏差，引入局部特征。同时，延迟重加权（DRW）损失在训练后期对尾类样本加权，使DIST标记专注于尾类，CLS标记专注于头类，二者分化形成专家，从而提升整体识别效果。
SAM教师与低秩特征：泛化能力的关键
通过锐度感知最小化（SAM）训练的CNN教师能收敛到平坦最小值，产生低秩泛化特征。蒸馏这些特征到ViT学生模型，可促使所有块中的DIST标记学习低秩表示，尤其有利于数据稀少的尾类。实验表明，SAM教师还能加速学生模型收敛，这为ViT蒸馏提供了新见解。
计算效率优势：低分辨率小教师模型
与DeiT使用高分辨率大型CNN教师不同，DeiT-LT采用低分辨率（32x32）的小型ResNet-32作为教师，显著减少了计算需求和训练时间（约13小时）。这种设计在保持竞争性能的同时，降低了长尾识别任务对硬件的要求，使得ViT训练更加高效可行。
Q&A
DeiT-LT模型的主要特点是什么？
DeiT-LT是一种高效的ViT模型，专门用于长尾数据集，通过蒸馏CNN知识和使用分布外图像增强对尾类的关注。
DeiT-LT如何提高对尾类的关注？
DeiT-LT通过蒸馏CNN知识和引入分布外图像，使用延迟重加权来计算蒸馏损失，从而增强对尾部类别的关注。
使用SAM训练的CNN教师模型有什么优势？
使用SAM训练的CNN教师模型可以提高特征的泛化性，特别是对于少数类，帮助学习低秩泛化特征。
DeiT-LT在长尾数据集上的表现如何？
实验结果表明，DeiT-LT在小规模和大规模长尾数据集上均表现出色，显著提高了模型性能。
DeiT-LT是如何处理过拟合问题的？
DeiT-LT通过使用经过SAM训练的CNN教师进行蒸馏，提取低秩泛化特征，从而减轻过拟合。
DeiT-LT与传统DeiT模型有什么不同？
DeiT-LT引入了DIST标记作为尾类专家，与CLS标记作为头类专家相结合，能够有效学习不同类别的特征。
