晓飞的算法工程笔记
·
模态内重叠优化，简单有效的CLIP微调方法 | BMVC'24 Oral - 晓飞的算法工程笔记
💡
原文中文，约1900字，阅读约需5分钟。
📝
内容提要
本文提出了一种新方法，通过减少CLIP模型中的模态内重叠（IMO）来提升少样本分类性能。研究表明，减少IMO与模型性能呈正相关。训练轻量级适配器可有效提高分类准确性和鲁棒性。
🎯
关键要点
- 提出了一种新方法，通过减少CLIP模型中的模态内重叠（IMO）来提升少样本分类性能。
- 研究表明，减少IMO与模型性能呈正相关。
- 训练轻量级适配器可有效提高分类准确性和鲁棒性。
- 许多方法尝试将预训练的基础CLIP模型适应于少样本分类，但在分布差异显著的数据集上性能不理想。
- 论文分析了图像空间内的模态重叠，指出对比训练忽略了图像与图像之间的相似性。
- 为了解决模态内重叠，训练了一个轻量级适配器，仅需一个epoch即可提高分类准确性。
- 减少模态内重叠可以提高多个标准数据集上的性能，增强对分布变化的鲁棒性，并提高特征方差。
- 通过适应校正模态内重叠，引入瓶颈适配器并在小样本图像上进行微调。
- 微调后创建改进的缓存模型，以增强CLIP模型的先验知识。
➡️
