高效的视觉 - 语言预训练：基于聚类遮挡
内容提要
本文介绍了高斯掩模化（GLIP）技术，通过屏蔽图像补丁提升语言-图像预训练模型的性能。GLIP基于快速语言-图像预训练（FLIP），使用高斯分布替代随机屏蔽，适用于无明显中心焦点的图像数据集。此外，研究提出了医学语言-图像预训练（MLIP）框架，结合补丁-句子匹配和遮蔽对比学习策略，提高医学图像文本数据的利用效率。
延伸解读
GLIP 与 FLIP 的继承关系
GLIP 基于 FLIP，后者在训练 CLIP 模型时随机屏蔽图像补丁。GLIP 将随机屏蔽替换为高斯分布，灵感来自图像中心补丁的重要性。两者计算节约效果相同，但 GLIP 在多个下游数据集和任务上性能更优。这种改进无需精细调整高斯参数，且适用于没有明显中心焦点的图像数据集。
MLIP 的数据效率策略
MLIP 框架通过补丁-句子匹配更有效地利用图像-文本医学数据，并引入遮蔽对比学习策略和语义完整性估计，以减少图像冗余并保留底层语义。评估显示，MLIP 在零/少样本分类和少样本分割任务中表现出较大优势，表明其在医学图像文本数据利用上的有效性。
掩码策略在视觉-语言预训练中的演进
文章列举了多项研究，展示了掩码策略在视觉-语言预训练中的发展：从随机屏蔽到高斯屏蔽，再到语义引导的遮蔽和掩码自蒸馏。这些方法旨在提升预训练效率和下游任务性能，反映了该领域对更有效利用数据与计算资源的持续探索。
Q&A
高斯掩模化（GLIP）技术的主要功能是什么？
GLIP技术通过屏蔽图像补丁来提升语言-图像预训练模型的性能。
GLIP与FLIP有什么区别？
GLIP基于FLIP，但使用高斯分布替代随机屏蔽，适用于无明显中心焦点的图像数据集。
医学语言-图像预训练（MLIP）框架的优势是什么？
MLIP框架在零/少样本分类和少样本分割任务中表现出较大的优势，提高了医学图像文本数据的利用效率。
GLIP技术如何影响下游任务的性能？
GLIP通过改善模型性能，提升了一系列下游数据集和任务的效果。
MLIP框架是如何提高医学图像数据利用效率的？
MLIP通过补丁-句子匹配和遮蔽对比学习策略来更有效地利用医学图像文本数据。
GLIP技术的计算节约效果如何？
GLIP与FLIP具有相同的计算节约效果，且易于获得，无需对高斯进行精细调整。
