我们提出了一种简单的策略，用于在视觉语言对比学习中提高表示质量和训练速度。该策略通过遮盖相似的图像补丁群集，并强制模型仅根据上下文预测遮盖的视觉结构的单词，提供额外的学习信号。这种策略在所学表示的质量方面表现良好，并且通过减少每个图像中使用的数据来加速训练。