该文综述视觉预训练模型进展：EVA-02以更少参数和计算在多项视觉任务表现优异；CLIPA利用反比例缩放降低训练成本；中文CLIP在中文图文任务达先进水平；MetaCLIP通过数据筛选超越CLIP；EVA用公开数据扩展至十亿参数并刷新多项视觉任务记录；研究揭示CLIP的幂律缩放规律及反比例缩放定律，并提出DeCLIP、CLIP-benchmark和EVL等改进方法。