BriefGPT - AI 论文速递
·
朝着具有 CLIP 的逼真无监督微调
💡
原文中文，约300字，阅读约需1分钟。
📝
内容提要
本文介绍了一种名为Unsupervised Prototype Adapter (UP-Adapter)的无监督微调方法，利用CLIP的文本-图像对齐能力自动选择每个类别中最有信心的样本，并生成类别原型，用于可学习的原型模型的初始化。经过微调后，通过剩余连接将原型模型的预测与原始CLIP的预测相结合，用于下游识别任务。实验结果表明，该方法在图像识别和领域泛化方面取得了显著优势。
🎯
关键要点
- 提出了一种名为Unsupervised Prototype Adapter (UP-Adapter)的无监督微调方法。
- 该方法利用CLIP的文本-图像对齐能力自动选择每个类别中最有信心的样本。
- 生成类别原型用于可学习的原型模型的初始化。
- 经过微调后，通过剩余连接将原型模型的预测与原始CLIP的预测相结合。
- 该方法用于下游识别任务，实验结果显示在图像识别和领域泛化方面具有显著优势。
➡️
