CatLIP: 在 Web 规模的图文数据上 2.7 倍速度预训练的 CLIP 级别视觉识别准确性
内容提要
本文介绍了一种新的训练方法DeCLIP，用于对比语言-图像预训练，能够在较少数据下实现60.4%的零样本准确率。研究还提出了数据选择方法和改进的对比学习框架，显著提升了模型性能，特别是在零样本分类任务中表现优异。
延伸解读
从 DeCLIP 到 CatLIP：数据效率的持续追求
文章回顾了 CLIP 系列模型在数据效率上的进展。DeCLIP 通过充分利用图像-文本对之间的广泛监督，在较少数据下实现了 60.4% 的零样本 top1 准确率。后续研究进一步提出数据选择方法，在 ConceptualCaptions 数据集上，仅使用子集就能在 ImageNet 上达到基线方法 2.7 倍的准确度，体现了数据质量与选择策略的重要性。
中文多模态预训练的突破
文章提到使用中文数据构建了巨大的图像文本配对数据集，并预训练了中文 CLIP 模型。该模型在 MUGE、Flickr30K-CN 和 COCO-CN 等中文基准上实现了最新技术水平，并在 ELEVATER 基准测试中表现出竞争性能。这表明针对特定语言的数据构建和预训练能有效提升模型在中文任务上的零样本学习和微调能力。
对比学习框架的多样化改进
文章介绍了多个改进对比学习框架的工作。CyCLIP 通过优化图像和文本空间的几何一致性，在零样本分类准确率和鲁棒性上比 CLIP 分别提高了 10%-24% 和 10%-27%。RankCLIP 利用模态内和跨模态的排序一致性，捕捉多对多关系，在零样本分类上显著超越现有方法。这些改进从不同角度提升了视觉-语言预训练的性能。
数据筛选与基准测试的推动
MetaCLIP 以数据筛选为核心，在零样本 ImageNet 分类中达到 70.8% 的准确率，并在 1B 数据下保持相同训练预算达到 72.4%。CLIP-benchmark 则系统评估了数据、监督和模型架构三个关键因素对性能的影响。这些工作表明，除了模型架构，数据筛选和基准测试对推动 CLIP 类模型的发展同样至关重要。
Q&A
DeCLIP方法的主要优势是什么？
DeCLIP方法在较少数据的情况下实现了60.4%的零样本准确率，优于常规CLIP模型。
如何提高对比语言-图像预训练模型的泛化性能？
通过提出一种理论上严谨的数据选择方法，保留图像和标题的交叉协方差，可以提高模型的泛化性能。
研究中使用了哪些数据集进行实验？
研究使用了MUGE、Flickr30K-CN和COCO-CN等数据集进行实验。
DeCLIP在零样本分类任务中的表现如何？
DeCLIP在零样本分类任务中表现优异，显著提升了模型性能。
本文提出了哪些基线模型？
本文提出了一些基线模型，将对比学习与自监督学习进展相结合，用于生成多模态表示。
如何评估CLIP及其变种的性能？
通过CLIP-benchmark对CLIP及其变种进行评估、分析和基准测试，发现数据、监督和模型架构对性能的影响。
