通过弱监督适应提高分割基础模型在分布变化下的泛化能力
原文中文,约500字,阅读约需2分钟。发表于: 。基于自训练的策略,通过锚点规范化和低秩微调,提升了图像分割基础模型的适应性和计算效率,并在多个下游分割任务中表现出优于预训练模型 SAM 和最先进的领域自适应方法的性能。
这项研究使用预训练的基础模型CLIP和SAM解决弱监督语义分割问题。通过冻结权重的CLIP和学习的任务特定提示,生成高质量的分割种子。使用SAM模块生成粗糙或精细的种子图,并通过多标签对比损失和CAM激活损失进行学习。实验证明,在PASCAL VOC 2012和MS COCO 2014上取得了优秀的性能。