高效视觉概念预训练的屏蔽图像对比学习

本文提出了一种可扩展且简单的预训练范式——屏蔽图像对比学习（MiCL），旨在高效获得视觉概念表示。该方法通过随机屏蔽图像块生成不同视图，并在小批量图像间进行对比，有效减少图像概念冗余，实现高层语义特征的提取，显著提高了预训练的效率和效果。