监督微调进一步提升视觉基础模型
内容提要
本文综述视觉基础模型微调研究：TeS缓解预训练偏差；少样本CLIP微调在分布转变下优于纯视觉模型；VFM知识迁移提升小模型性能；视频精调CLIP实现图像到视频表示迁移；多阶段ViT用于细粒度分类；大规模实验发现仅调层归一化等参数最有效；Semi-ViT适合少标注场景；正负提示多任务微调提升细粒度分类；CF-ViT降低计算成本；SUN框架改善ViT少样本token依赖问题。
延伸解读
微调策略的多样性：从参数选择到知识迁移
文章汇总了多种视觉基础模型微调方法，涵盖参数高效微调、知识迁移和半监督学习等方向。其中，大规模实验发现仅微调层归一化参数及注意力缩放参数对ViT最有效，而针对自监督ViT，学习缩放参数和Domain-residual adapter模块即可实现优异性能。这些发现提示读者，微调并非总是需要调整全部参数，选择关键参数可能更高效。
少样本场景下的模型选择与数据挑战
在训练数据有限且存在分布转变时，少样本CLIP微调在内外分布准确性上均优于纯视觉模型，为小样本学习应用提供了采用基础模型的动机。同时，Semi-ViT在注释数据缺乏时表现优于传统CNN和ViT，适合电子商务等精细分类领域。但研究也指出，知识迁移中数据集的选择对最终性能有显著影响，需通过图像检索筛选有效迁移集。
视觉基础模型向视频与细粒度任务的扩展
文章展示了基础模型微调在跨模态和细粒度任务上的潜力：通过视频精调CLIP，可将图像级表示有效迁移到视频领域；多阶段ViT框架结合注意力引导增强，能在不改变架构的情况下定位信息区域，提升细粒度分类性能；基于正/负提示的多任务微调策略则进一步利用了视觉语言模型的能力，在CUB200-2011数据集上提高了分类性能。
Q&A
TeS方法主要解决视觉基础模型微调中的什么问题？
TeS是一种基于文本监督的微调方法，旨在缓解预训练模型中的偏差（bias）问题，并在11个下游任务上验证了其能显著提高微调效果。
在分布转变下，少样本CLIP微调相比纯视觉模型有什么优势？
在训练数据有限且存在分布转变时，少样本CLIP微调在内部分布和外部分布准确性上均优于纯视觉模型，为小样本学习应用采用基础模型提供了动机。
如何将视觉基础模型的知识有效迁移到小型任务特定模型？
提出一种简单高效的面向任务的知识迁移方法，在有限标记数据下，其性能优于任务无关的VFM蒸馏、Web规模CLIP预训练和监督式ImageNet预训练，分别提升1-10.5%、2-22%和2-14%。
对于Vision Transformer，哪些参数效率微调方法最有效？
大规模实验发现，仅微调层归一化参数及学习每个注意力矩阵的缩放参数是最强大的微调方法；对于自监督ViTs，仅学习缩放参数和Domain-residual adapter模块即可实现无与伦比的性能。
Semi-ViT在标注数据不足时表现如何？
Semi-ViT使用半监督学习微调ViT，在有限注释数据下性能优于传统CNN和ViT，特别适用于电子商务等缺乏注释数据的领域。
如何利用正负提示多任务微调提升细粒度分类性能？
基于正/负提示公式的多任务微调策略进一步利用视觉语言基础模型的能力，解决CLIP在细粒度属性检测和定位等下游任务中的问题，并在CUB200-2011数据集上提高了分类性能。
