基于典型对比学习的 CLIP 微调方法用于物体重新识别

💡 原文中文,约400字,阅读约需1分钟。
📝

内容提要

本研究旨在通过使用原型对比学习(PCL)损失直接微调CLIP的图像编码器,将大规模预先训练的视觉语言模型适应各种监督设置下物体再识别的表现提升。实验结果证明了该方法在人物和车辆Re-ID数据集上具有竞争力,并在无监督场景中达到了最新的表现。

🎯

关键要点

  • 本研究旨在提升大规模预先训练的视觉语言模型在物体再识别中的表现。

  • 研究分析了CLIP-ReID中prompt learning的作用及其限制。

  • 提出了一种通过原型对比学习(PCL)损失直接微调CLIP图像编码器的方法,消除了对prompt learning的需求。

  • 实验结果表明,该方法在人物和车辆Re-ID数据集上具有竞争力。

  • 基于PCL的CLIP微调方法在无监督场景中达到了最新的表现。

➡️

继续阅读