BriefGPT - AI 论文速递
·
通过弱监督适应提高分割基础模型在分布变化下的泛化能力
💡
原文中文，约500字，阅读约需2分钟。
📝
内容提要
这项研究使用预训练的基础模型CLIP和SAM解决弱监督语义分割问题。通过冻结权重的CLIP和学习的任务特定提示，生成高质量的分割种子。使用SAM模块生成粗糙或精细的种子图，并通过多标签对比损失和CAM激活损失进行学习。实验证明，在PASCAL VOC 2012和MS COCO 2014上取得了优秀的性能。
🎯
关键要点
- 研究利用预训练模型CLIP和SAM解决弱监督语义分割问题。
- 提出基于CLIP和SAM的粗到精细框架生成高质量分割种子。
- 通过冻结CLIP权重和学习任务特定提示执行图像分类和种子分割任务。
- 设计基于SAM的分区模块生成粗糙或精细的种子图。
- 使用多标签对比损失和CAM激活损失进行学习，提示是唯一需要学习的部分。
- 学习提示后，将图像和分割特定提示输入CLIP和SAMS模块生成高质量分割种子。
- 这些种子作为伪标签用于训练分割网络，方法在PASCAL VOC 2012上表现优异，MS COCO 2014上结果竞争力强。
🏷️
标签
➡️
