WeakSAM: A Method Integrating Segmentation and Weakly Supervised Instance-Level Recognition
内容提要
本文综述了将SAM用于弱监督语义分割的多项研究：结合CAM生成更高质量伪标签，使五种方法mIoU提升6.2%；应用于隐蔽物体分割、显著目标检测、少样本分割及区域描述生成；并提出基于CLIP与SAM的由粗到细框架，在PASCAL VOC 2012上取得最先进性能。
延伸解读
SAM与CAM结合提升伪标签质量
文章指出，将SAM与CAM结合生成更高质量的伪标签，为特定类提供信号，选择相关mask进行标注，从而产生更精确的伪标签。这种方法使五种最先进的弱监督语义分割方法的平均伪标签mIoU提高了6.2%。这表明SAM在弱监督分割中能有效改善伪标签的精度，为后续训练提供更好基础。
SAM在多种分割任务中的扩展应用
文章综述了SAM在多个任务中的应用：隐蔽物体分割中，利用多尺度特征分组和熵加权策略处理内在相似性；显著目标检测中，通过自适应微调SAM实现卓越性能；少样本分割中，借助先前引导的掩模生成粗略像素级提示；区域描述生成中，添加轻量级查询特征混合器对齐语言模型。这些应用展示了SAM的通用性和可扩展性。
基于CLIP和SAM的由粗到细框架
文章提出一种基于CLIP和SAM的由粗到细框架，用于弱监督语义分割。该框架通过冻结CLIP和可学习提示执行图像分类和种子分割，设计SAMS模块生成粗糙或精细种子图，并利用多标签对比损失和CAM激活损失学习提示。在PASCAL VOC 2012上取得最先进性能，MS COCO 2014上也有竞争力，表明结合视觉语言模型与分割基础模型的有效性。
Q&A
如何利用SAM和CAM提升弱监督语义分割的伪标签质量？
使用SAM结合CAM生成更高质量的伪标签，用伪标签为特定类提供信号，选择相关的mask并用它们进行标注以产生更精确的伪标签，从而将五种最先进弱监督语义分割方法的平均伪标签mIoU提高了6.2%。
SAM在弱监督隐蔽物体分割中是如何应用的？
提出一种用于弱监督隐蔽物体分割的方法，利用多尺度特征分组模块处理内在相似性问题，并采用SAM和基于熵的像素加权策略进行模型训练，同时应用基于熵的图像选择策略来减轻低质量分割蒙版的影响，实验证明该方法在各种WSCOS任务上取得了最先进的性能。
基于CLIP和SAM的由粗到细框架如何实现弱监督语义分割？
该框架利用冻结权重的CLIP和两组可学习的任务特定提示共同执行图像分类和种子分割任务，设计基于SAM的分区模块生成粗糙或精细的种子图，并采用多标签对比损失和CAM激活损失来学习提示。学习后，将图像和分割特定提示输入CLIP和SAMS模块生成高质量分割种子，作为伪标签训练现成分割网络，在PASCAL VOC 2012上取得最先进性能。
如何为SAM添加区域描述生成功能？
提出一种方法，通过引入轻量级的基于查询的特征混合器使区域特征与语言模型的嵌入空间对齐，从而高效地为SAM添加生成区域描述的功能。该方法具有小的可训练参数数量，计算量少、内存使用少和通信带宽少的特点，训练速度快且可扩展。通过先在目标检测和分割任务上进行弱监督预训练以解决区域描述数据稀缺问题。
如何通过自适应微调SAM实现显著目标检测？
基于深度学习中内在的低秩结构，提出一种创新方法，通过自适应微调SAM来实现显著目标检测，在五个具有挑战性的RGB基准数据集上进行全面的定性和定量评估，证明了该方法的卓越性能，超越了最先进的方法。
SAM在少样本语义分割中是如何应用的？
介绍了一种用于自动化少样本语义分割的结构化框架，利用SAM模型，并借助先前引导的掩模生成粗略像素级提示，以获得更高效的语义可辨别分割结果，实验证明该方法在DLRSD数据集上优于其他可用的少样本方法。
