EVA-CLIP-18B：扩展到 180 亿参数的 CLIP
内容提要
该文综述视觉预训练模型进展：EVA-02以更少参数和计算在多项视觉任务表现优异；CLIPA利用反比例缩放降低训练成本；中文CLIP在中文图文任务达先进水平；MetaCLIP通过数据筛选超越CLIP；EVA用公开数据扩展至十亿参数并刷新多项视觉任务记录；研究揭示CLIP的幂律缩放规律及反比例缩放定律，并提出DeCLIP、CLIP-benchmark和EVL等改进方法。
延伸解读
CLIP缩放规律的关键发现
文章指出，CLIP训练存在幂律缩放关系，即有效训练集大小、模型大小和计算量与性能之间遵循幂律。此外，反比例缩放定律表明，使用更大的图像/文本编码器时，可以应用更短的令牌序列进行训练，从而降低计算成本。这些规律为高效训练大规模CLIP模型提供了理论指导。
高效训练方法的实践意义
CLIPA通过反比例缩放律降低训练成本，并在微调阶段进一步减少计算需求；DeCLIP利用图像-文本对之间的广泛监督，以较少数据达到60.4%的零样本top-1准确率。这些方法表明，在有限计算资源下，通过算法优化仍可实现高性能，对学术研究尤其有价值。
数据质量与模型性能的关联
MetaCLIP通过数据筛选策略，在零样本ImageNet分类中达到70.8%的准确率，并在10亿数据下保持相同训练预算达到72.4%。这突显了数据筛选在对比语言-图像预训练中的重要性，优质数据可显著提升模型性能，而无需增加计算开销。
EVA模型的大规模扩展
EVA基于公开数据将视觉基础模型扩展至10亿参数，并在图像识别、视频动作识别、目标检测、实例分割和语义分割等任务上创造新记录，无需大量监督训练。这证明了利用公开数据和大规模参数探索视觉表征极限的可行性，为未来研究提供了方向。
Q&A
EVA-CLIP-18B 是什么？它扩展到了多少参数？
EVA-CLIP-18B 是一个扩展到 180 亿参数的 CLIP 模型。
EVA-02 在视觉任务中的表现如何？
EVA-02 在各种代表性视觉任务中表现出卓越性能，并且使用更少的参数和计算预算。
CLIPA 如何降低训练成本？
CLIPA 通过反比例尺度律以更低的计算成本实现高性能训练，并在微调阶段进一步减少计算需求，从而提高零样本 ImageNet 准确率。
中文 CLIP 在哪些任务上达到了先进水平？
中文 CLIP 在零样本学习和微调设置下，在 MUGE、Flickr30K-CN 和 COCO-CN 上实现了最新技术水平，并在 ELEVATER 基准测试中具有竞争性能。
MetaCLIP 相比 CLIP 有什么优势？
MetaCLIP 以数据筛选为核心，在多个标准基准测试中优于 CLIP 以 CommonCrawl 为数据源的结果，在零样本 ImageNet 分类中达到 70.8% 的准确率，并在 1B 数据下保持相同训练预算达到 72.4% 的准确率。
CLIP 的缩放定律是什么？
研究发现 CLIP 训练存在幂律缩放关系，有效训练集大小、模型大小和计算量与性能之间具有幂律缩放关系，并且训练分布在缩放规律中起关键作用。
