通过编码率正则化简化DINO

本文解决了DINO及DINOv2模型在无标记图像数据学习中的复杂性和不稳定性问题。通过在损失函数中引入显式的编码率项，提出了简化版本SimDINO和SimDINOv2，这些模型在不同设计选择下表现出更高的鲁棒性，且在下游任务上学习到了更高质量的表征，展示了简化设计原则在深度学习中的潜力。