深入研究对比语言图像预训练（CLIP）的鲁棒性
内容提要
CLIP-benchmark评估了CLIP及其变体，发现数据、监督方式和模型架构会影响性能。研究表明，训练分布的多样性是提升鲁棒性的关键，并据此提出了ImageNet-Captions数据集。后续工作如LP-CLIP、MetaCLIP、DeCLIP、RoCLIP等，分别通过自训练、数据筛选、高效利用监督和随机对比，提升了零样本准确率与鲁棒性，并拓展了OOD检测等应用。
延伸解读
训练分布多样性是鲁棒性关键
文章通过实验发现，对比语言-图像模型鲁棒性提升的主要因素是训练分布的多样性，而其他因素贡献甚微。这一结论强调了数据多样性在模型泛化中的核心作用，为后续研究如ImageNet-Captions的构建提供了方向。
数据筛选与自训练提升零样本性能
MetaCLIP通过数据筛选在零样本ImageNet分类中达到70.8%准确率，并在10亿数据下提升至72.4%；LP-CLIP利用自训练和伪标签，无需标注数据即达到SOTA。这些方法表明，高效利用监督信号和数据质量比单纯增加数据量更重要。
OOD检测与对抗鲁棒性进展
研究显示，使用最近邻特征相似度的CLIP模型在无监督OOD检测中达到最先进性能，且无需内部分布微调即可获得有监督SOTA。RoCLIP通过随机对比降低后门攻击成功率，文本增强方法则提升了对抗鲁棒性，拓展了CLIP在安全敏感场景的应用。
Q&A
CLIP-benchmark 主要评估了哪些因素对 CLIP 性能的影响？
CLIP-benchmark 评估了数据、监督和模型架构三个关键因素对 CLIP 性能的影响，并发现应用更恰当的监督可以有效提高 CLIP 性能。
为什么对比语言-图像模型的鲁棒性会提高？
研究发现，对比训练语言-图像模型的鲁棒性提高的主要因素是训练分布的多样性，而其他因素对鲁棒性几乎没有贡献。
ImageNet-Captions 是什么？
ImageNet-Captions 是带有来自 Flickr 的原始文本注释的 ImageNet 版本，用于进一步进行语言-图像训练的受控实验。
LP-CLIP 如何提高 CLIP 的鲁棒性？
LP-CLIP 通过引入一个线性探测层，利用 CLIP 生成的伪标签以及自训练策略进行训练，无需注释数据，从而增强模型在真实场景中应对多种不确定性和挑战的能力，并在各种数据集上实现了 SOTA 结果。
MetaCLIP 在零样本 ImageNet 分类上的准确率是多少？
MetaCLIP 在零样本 ImageNet 分类中达到 70.8% 的准确率，并在 1B 数据的情况下保持相同的训练预算达到 72.4% 的准确率。
DeCLIP 相比常规 CLIP 有什么优势？
DeCLIP 通过充分利用图像-文本对之间的广泛监督来更有效地学习通用视觉特征，在使用较少数据的情况下实现 60.4% 的零样本 top1 准确率，并在转化到下游任务时优于常规 CLIP 模型。
RoCLIP 方法有什么作用？
RoCLIP 通过与一组随机示例进行比较来有效地断开损坏图像-字幕对之间的关联，从而实现对 CLIP 多模态模型的强化预训练和微调，有效降低目标数据污染和后门攻击的成功率，并提高模型性能。
