简化自监督视觉：编码率正则化如何改变 DINO 和 DINOv2

DINO和DINOv2模型用于从未标记图像中学习特征，但训练复杂且不稳定。

SimDINO和SimDINOv2通过引入编码率正则化项，简化了训练过程，提高了稳定性和效率。

DINOv2试图通过使用负样本解决表示崩溃问题，但训练设置仍然复杂。

现有的学习图像特征的方法面临各种挑战，如计算成本高和训练不稳定。

SimDINO和SimDINOv2通过简化训练流程，消除了繁重的后处理和超参数调整的需要。

SimDINO在保持稳定训练的同时实现了更高的准确度，优于DINO。

SimDINOv2在语义分割任务中表现优于DINOv2，提升了性能。

研究表明，SimDINO和SimDINOv2通过引入正则化项增强了模型的泛化能力和下游任务性能。

这些模型为自监督学习提供了更高效的框架，能够应用于其他自监督学习模型。