基于锚点的视觉语言模型的鲁棒微调
内容提要
本文提出了一种名为Domain Aligned CLIP (DAC)的小样本微调方法，旨在提升视觉-语言基础模型CLIP的内部和跨模态对齐效果。实验结果显示，DAC在多个图像分类任务中表现优越，尤其在样本分类挑战中提升了2.3%。研究还探讨了微调模型在未知类别上的泛化能力，提出了类条件特征生成器和自适应自蒸馏机制，以防止过度拟合并增强模型的鲁棒性。
延伸解读
小样本微调中过拟合已知类别的风险
文章指出，视觉-语言模型在微调时若缺乏适当正则化，会过度拟合已知类别，导致对未知类别的表现下降。这提醒研究者和开发者，在有限数据下微调CLIP时，需警惕模型对训练类别的记忆，而非学习可泛化的特征。DAC通过类条件特征生成器和自适应自蒸馏机制来缓解这一问题，为小样本场景提供了防过拟合的思路。
DAC的轻量适配与参数冻结策略
DAC采用轻量级适配器和框架调节类文本嵌入，在不改变CLIP主模型参数的情况下，提升目标分布上的内部和跨模态对齐。这种设计计算效率高，且能抵抗分布转移。对于实际应用，这意味着可以在不重新训练大模型的前提下，快速适配新领域，降低计算成本，同时保持CLIP原有的零样本能力。
未知类别泛化的评估与提升
文章探讨了微调模型在未知类别上的泛化能力，并引入类条件特征生成器，仅利用未知类别的类名合成OOD特征，以规范ID和OOD数据间的决策边界。自适应自蒸馏机制进一步防止过拟合。实验证实，该方法在不同设置下均能带来OOD泛化性能增益，为提升模型在开放环境中的鲁棒性提供了可行方案。
Q&A
什么是Domain Aligned CLIP (DAC)方法？
DAC是一种小样本微调方法，旨在提升视觉-语言模型CLIP的内部和跨模态对齐效果。
DAC在图像分类任务中的表现如何？
DAC在11个图像分类任务中表现优越，尤其在样本分类挑战中提升了2.3%。
如何提高微调模型在未知类别上的泛化能力？
通过引入类条件特征生成器和自适应自蒸馏机制，可以改善微调模型在未知类别上的泛化能力。
微调模型可能出现什么问题？
经过足够时间的微调但没有适当的正则化，模型可能会过度拟合已知类别，导致对未知类别的表现下降。
类条件特征生成器的作用是什么？
类条件特征生成器通过合成未知类别的特征，帮助改善未知类别的泛化能力。
自适应自蒸馏机制是如何工作的？
自适应自蒸馏机制用于规范特征生成模型，帮助防止过度拟合并在联合优化中传递知识。
