预训练视觉 - 语言模型的高效和长尾泛化
内容提要
本文探讨了如何通过调整预训练的CLIP模型来优化视觉与语言任务的学习效果。研究提出了线性适配器和自注意适配器等方法，强调了参数保留的重要性，以提高模型在新任务中的适应性。实验结果表明，这些方法在小样本学习和长尾识别任务中显著提升了性能。
延伸解读
适配器方法对比：线性适配器为何胜出
文章比较了线性适配器、自注意适配器和提示调整三种方法。实验表明，最简单的线性适配器层配合参数保留策略取得了最佳结果。这提示在视觉-语言模型适配中，结构简单的适配器可能更有效，而复杂结构未必带来更好性能。
参数保留：平衡增量学习中的稳定与可塑
增量学习常面临稳定性与可塑性的权衡。文章提出参数保留方法，通过衡量参数重要性来保护关键参数，从而在适应新任务时减少遗忘。这一思路有助于模型在持续学习场景中保持旧知识的同时吸收新知识。
PEL与CLIP-Adapter：长尾与小样本的解决方案
针对长尾识别，PEL方法通过少于20个时期的微调，并利用CLIP文本编码器初始化分类器，缓解了过拟合。CLIP-Adapter则通过添加新特征层和残差混合，在视觉分类任务中优于上下文优化。两者均展示了预训练模型在数据稀缺场景下的适应潜力。
小样本微调在分布转变下的优势
在训练数据有限且存在分布转变时，传统迁移学习方法效果有限。文章指出，小样本CLIP微调在内部分布和外部分布准确性上均优于纯视觉模型。这为在真实世界小样本应用中采用基础模型提供了依据，强调了视觉-语言预训练模型的鲁棒性。
Q&A
CLIP模型如何适应新任务？
通过在预训练的CLIP模型上增加附加层，如线性适配器和自注意适配器，来优化其在新任务中的适应性。
什么是参数保留方法，它的作用是什么？
参数保留方法通过衡量参数重要性，在增量学习过程中保持模型的稳定性和可塑性。
实验结果显示哪些方法在小样本学习中表现优异？
具有参数保留的线性适配器层在小样本学习和长尾识别任务中表现最佳。
CLIP模型在视觉与语言任务中有哪些优势？
CLIP模型在视觉与语言任务中表现优异，超越了现有的视觉编码器，并在多种任务中取得了竞争或更好的结果。
PEL方法是如何解决过度拟合问题的？
PEL方法通过少于20个时期的微调，无需额外数据，适应长尾识别任务，从而解决了过度拟合问题。
CLIP-Adapter是什么，它的特点是什么？
CLIP-Adapter是一种新的视觉语言模型fine-tuning方式，通过在原训练模型上加入新特征层并进行残差式混合来实现，表现优异。
