DeiT-LT：印度科学院提出针对长尾数据的`DeiT`升级模型 | CVPR 2024 - 晓飞的算法工程笔记
💡
原文中文，约4500字，阅读约需11分钟。
📝
内容提要
DeiT-LT是一种在长尾数据集上应用的高效ViT模型，通过蒸馏CNN知识和使用分布外图像来增强对尾类的关注。DeiT-LT使用经过SAM训练的CNN教师来提取低秩泛化特征，通过训练方案，DIST和CLS标记成为尾类和头类的专家。DeiT-LT在长尾数据集上从头训练ViT，提高了性能。
🎯
关键要点
- DeiT-LT 是一种高效的 ViT 模型，专门用于长尾数据集。
- 通过蒸馏 CNN 知识和使用分布外图像，DeiT-LT 增强了对尾类的关注。
- 使用经过 SAM 训练的 CNN 教师提取低秩泛化特征，减轻过拟合。
- DIST 标记成为尾类专家，CLS 标记成为头类专家，有效学习不同类别特征。
- DeiT-LT 通过强增强生成的分布外图像进行有效蒸馏，提升了模型性能。
- 引入延迟重加权 (DRW) 来计算蒸馏损失，增强尾部类别的关注。
- OOD 蒸馏使得 CLS 和 DIST 标记的特征表达有所不同，促进了专家的形成。
- 通过 SAM 训练的 CNN 教师模型提高了特征的泛化性，特别是对于少数类。
- DeiT-LT 在较低分辨率下训练小型 CNN，显著减少了计算要求和训练时间。
- 实验结果表明，DeiT-LT 在小规模和大规模长尾数据集上均表现出色。
➡️
