在 CLIP 中通过持续语言学习拥抱语言包容性和多样性
内容提要
该文综述CLIP在持续学习中的表现：冻结模型的零样本评估在类增量、域增量等五类基准上多优于现有方法，且简单提示模板即可影响性能。后续研究提出多级交互训练轻量CLIP、跨语言参数高效迁移、NLLB-CLIP多语言图像检索、CLIP-benchmark评估、适配器与提示调整、LaCLIP语言重写、CLIPTrans跨模态对齐及VT-CLIP视觉引导文本等方法。
延伸解读
零样本持续学习：简单而强大的基线
文章指出，冻结的CLIP模型在零样本评估下，于类增量、域增量等五类持续学习基准中多数优于现有方法。这意味着无需微调即可获得强劲性能，且简单提示模板的改动就能影响结果。这提示研究者在持续学习任务中应首先考虑这一简单基线，避免过度复杂化。
参数高效跨语言迁移：低资源场景的突破
针对多语言差异，文章介绍了一种参数高效的跨语言迁移框架，仅需全模型0.16%的额外参数，就能显著减少语言间差异，尤其在低资源场景下提升明显。同时，NLLB-CLIP在多语言图像检索中表现与最先进模型相当甚至更优。这表明轻量级适配是解决多语言任务的有效途径。
适配器与提示调整：简单方案胜出
在CLIP的进一步调整中，文章比较了线性适配器、自注意适配器和提示调整等方法，并引入参数保留以平衡稳定性和可塑性。实验表明，最简单的线性适配器层配合参数保留取得了最佳结果，并显著改进了现有技术水平。这提示在增量学习中，简单方法可能比复杂结构更有效。
语言重写与视觉引导：增强CLIP的新思路
LaCLIP通过语言重写增强训练，无需额外计算或内存负载，提升了图像-文本转移性能。VT-CLIP则利用视觉引导文本，使文本特征更适应图片，在多分类任务中效果显著。这些方法从数据增强和跨模态对齐角度，为提升CLIP的包容性和多样性提供了新方向。
Q&A
CLIP模型在零样本持续学习中的表现如何？
CLIP模型在冻结状态下，不进行任何微调（零次评估）时，在类增量、域增量和任务不可知的增量学习等多种设置以及五个流行基准测试集上，大多数情况下优于现有模型。
有哪些方法可以提升CLIP模型在持续学习中的性能？
可以通过在图像编码器后或文本编码器前增加附加层（如线性适配器、自注意适配器）以及提示调整来适应新任务，其中具有参数保留的线性适配器层效果最佳。
如何实现CLIP模型的跨语言迁移学习？
提出一种参数高效的跨语言转移学习框架，利用基于翻译的对齐方法缓解多语言差异，并探索参数高效的微调方法，仅需全模型0.16%的额外参数即可在低资源场景中取得改进。
NLLB-CLIP模型在多语言图像检索中的效果如何？
NLLB-CLIP模型在低资源语言上的质量与最先进模型相媲美且明显优于它们，展示了在多语言图像检索任务中的有效性。
LaCLIP方法如何增强CLIP的训练？
LaCLIP通过语言重写增强CLIP的训练，具有语料丰富度高的特点，不需要额外的计算或内存负载，实现较高的图像-文本转移性能。
CLIP-benchmark发现了哪些影响CLIP性能的关键因素？
CLIP-benchmark发现数据、监督和模型架构三个关键因素对性能有影响，应用更恰当的监督可以有效提高CLIP性能。
