本文介绍了一种面向少教师推理知识蒸馏的方法，通过比较式知识蒸馏，学生模型能够理解教师模型对样本解释的微妙差异，并获得额外的学习信号。实验证明，这种方法优于传统的数据增强和知识蒸馏技术。

我们提出了一种简单的策略，用于在视觉语言对比学习中提高表示质量和训练速度。该策略通过遮盖相似的图像补丁群集，并强制模型仅根据上下文预测遮盖的视觉结构的单词，提供额外的学习信号。这种策略在所学表示的质量方面表现良好，并且通过减少每个图像中使用的数据来加速训练。