从DINO、Grounding Dino到DINOv2、DINO-X——自监督视觉Transformer的升级改进之路(基于ViT)
💡
原文中文，约4300字，阅读约需11分钟。
📝
内容提要
DINO是一种自监督学习方法，通过知识蒸馏提升视觉Transformer的特征质量。它动态构建教师网络，利用学生网络输出进行训练，优化图像特征学习。DINO采用多裁剪策略和温度softmax，提升模型性能。
🎯
关键要点
- DINO是一种自监督学习方法，通过知识蒸馏提升视觉Transformer的特征质量。
- DINO动态构建教师网络，利用学生网络输出进行训练，优化图像特征学习。
- DINO采用多裁剪策略和温度softmax，提升模型性能。
- 视觉Transformer在计算上更为苛刻，要求更多的训练数据，特征没有表现出独特的属性。
- DINO的提出旨在通过自监督预训练提升视觉Transformer的表现。
- 知识蒸馏用于在自训练流程中将软伪标签传播到未标注的数据。
- DINO的教师网络在训练过程中动态构建，而非固定预训练。
- DINO使用多裁剪策略生成不同视图，鼓励局部到全局的对应关系。
- 教师网络通过学生网络的过去迭代构建，使用指数移动平均进行更新。
- DINO的网络架构由主干和投影头组成，使用标准Transformer网络进行特征提取。
➡️
