SemPLeS:弱监督语义分割的语义提示学习
内容提要
该文综述弱监督语义分割研究进展,涵盖像素级原型对比度方法、基于CLIP与SAM的由粗到细框架、CLIP-ES文本驱动策略与注意力亲和度模块、POLE提示学习、自适应确定与不确定区域自我增强、图神经网络物体响应建模及CLIMS跨语言图像匹配等方法。这些方法在PASCAL VOC 2012上达到最先进水平,在MS COCO 2014上具竞争力。
延伸解读
弱监督分割的演进脉络
文章梳理了从2020年到2023年的多项弱监督语义分割研究,呈现出清晰的技术演进:早期方法依赖像素级原型对比度和图神经网络建模物体响应;随后CLIP和SAM等视觉基础模型被引入,通过提示学习生成高质量伪标签;近期研究则更注重利用文本驱动策略和自适应区域划分来提升边界精度。这一脉络显示,该领域正从单一模型改进转向多模态基础模型的协同利用。
基础模型带来的范式转变
文章重点介绍了基于CLIP和SAM的由粗到细框架,其核心是冻结基础模型权重,仅学习任务特定的提示。这意味着训练成本大幅降低,因为唯一需要学习的部分就是提示。同时,CLIP-ES和POLE等方法也强调语言-视觉模型的优势,表明弱监督分割正从传统卷积网络转向利用大规模预训练模型的知识迁移,这可能会降低对精细标注的依赖。
确定性区域与不确定性区域的分治思路
针对弱监督分割中边界精度下降的常见问题,文章提到一种自适应划分方法:将图像内容分为确定性区域(如自信的前景和背景)和不确定性区域(如目标边界和错误分类类别),分别处理。对于不确定性区域,采用基于激活的掩膜策略并通过自身提炼恢复局部信息;对于确定性区域,则引入互补的自我增强来保持全局语义一致性。这种分治策略在单阶段框架内实现了优于多阶段方法的性能。
性能表现与适用场景
文章指出,所综述的方法在PASCAL VOC 2012上达到最先进水平,在MS COCO 2014上具有竞争力。值得注意的是,有研究专门针对驾驶场景数据集进行定制化处理,以克服现有技术在特定场景下性能严重降低的挑战。这表明弱监督分割方法在不同数据集上的泛化能力仍是关注点,实际应用中需考虑场景特性对模型表现的影响。
Q&A
弱监督语义分割(WSSS)主要面临什么挑战?
WSSS使用图像级标签,模型往往只关注最具差异性的区域,导致目标边界精度下降,与全监督条件不一致。
基于CLIP和SAM的弱监督语义分割框架是如何工作的?
该框架利用冻结的CLIP和两组可学习的任务特定提示,共同执行图像分类和种子分割任务;通过基于SAM的分区模块生成粗糙或精细的种子图;使用多标签对比损失和CAM激活损失学习提示;最后用生成的种子作为伪标签训练现成的分割网络。
CLIP-ES框架包含哪些关键组件?
CLIP-ES框架结合了softmax函数、基于文本的驱动策略、基于注意力机制的亲和度(CAA)模块以及CGL损失,以提高WSSS的效率和性能。
POLE策略在弱监督语义分割中有什么作用?
POLE是一种提示类学习策略,在WSSS问题上实现最先进的性能,突出了语言-视觉模型在WSSS中的优势以及提示学习的潜力。
如何通过自适应区域划分来改进弱监督语义分割?
该方法将图像内容划分为确定性区域(如自信的前景和背景)和不确定性区域(如目标边界和错误分类类别),分别处理;对不确定性区域采用基于激活的掩膜策略,通过自身提炼恢复局部信息;并引入互补的自我增强方法,限制自信区域与增强图片间的语义一致性。
基于图神经网络(GNN)的弱监督语义分割方法是如何建模物体响应的?
该方法将图像表示为图的节点,使用组内注意力机制建立图中关系,通过迭代信息传递学习更准确、更完整的物体响应,并在多个基准数据集上取得最先进的性能。
CLIMS框架如何利用CLIP进行跨语言图像匹配?
CLIMS通过自然语言监督激活更合理的物体区域并抑制相关背景区域,使用一组预定义的类相关背景文本描述来防止模型激活相关背景区域,在PASCAL VOC2012上明显优于之前的最先进方法。