CLIP 引导的图像感知式提示学习用于图像增强

💡 原文中文,约400字,阅读约需1分钟。
📝

内容提要

本研究通过使用PCL损失直接微调CLIP的图像编码器,提高了物体再识别的表现,无需prompt learning。实验结果表明,该方法在人物和车辆Re-ID数据集上具有竞争力,并在无监督场景中表现优异。

🎯

关键要点

  • 本研究旨在提升物体再识别(Re-ID)的表现,使用大规模预训练的视觉语言模型CLIP。
  • 分析了CLIP-ReID中prompt learning的作用,并确认其限制。
  • 提出了一种通过使用原型对比学习(PCL)损失直接微调CLIP图像编码器的方法,消除了对prompt learning的需求。
  • 实验结果表明,该方法在人物和车辆Re-ID数据集上具有竞争力。
  • 基于PCL的CLIP微调方法在无监督场景中也表现优异,达到了最新的表现。
➡️

继续阅读