朝着具有 CLIP 的逼真无监督微调
原文中文,约300字,阅读约需1分钟。发表于: 。通过将视觉语言模型 (VLMs) 应用于下游监督学习任务,本文探讨了无监督微调 CLIP 模型,解决了未知类别的样本和识别预定义类别实例的问题,并提出了一种称为通用熵优化 (UEO) 的简单有效的微调方法。通过广泛的实验,我们证明了 UEO 方法在泛化能力和检测未知类别样本方面优于基线方法。
本文介绍了一种名为Unsupervised Prototype Adapter (UP-Adapter)的无监督微调方法,利用CLIP的文本-图像对齐能力自动选择每个类别中最有信心的样本,并生成类别原型,用于可学习的原型模型的初始化。经过微调后,通过剩余连接将原型模型的预测与原始CLIP的预测相结合,用于下游识别任务。实验结果表明,该方法在图像识别和领域泛化方面取得了显著优势。