CLIP-DIY:CLIP 密集推理免费实现开放词汇语义分割
原文中文,约300字,阅读约需1分钟。发表于: 。本文提出了一种名为 CLIP-DIY 的开放词汇语义分割方法,该方法利用现有的无监督目标定位方法,直接在不同尺度的补丁上利用 CLIP 的分类能力,并通过无监督的目标定位方法指导分割过程,从而在 PASCAL VOC 上获得了最新的零样本语义分割结果,并在 COCO 上表现与最佳方法相当。
SegCLIP是一种基于CLIP的模型,可以实现无注释的开放式词汇语义分割。该模型使用重构损失和基于超像素的KL损失与伪标签相结合来增强视觉表征。实验结果表明,该模型在PASCAL VOC 2012、PASCAL Context和COCO上实现了相当或更高的分割精度。