数据集扩散:基于扩散的像素级语义分割合成数据集生成
原文中文,约500字,阅读约需2分钟。发表于: 。通过利用文本到图像生成模型 Stable Diffusion (SD) 的文本提示、交叉注意力和自我注意力,我们引入了三种新技术:类别提示附加,类别提示交叉注意力和自我注意力指数化,从而生成与合成图像相对应的分割地图,这些地图可以作为训练语义分割器的伪标签,消除了对像素级注释的繁重需求,我们还在 PASCAL VOC 和 MSCOCO 两个数据集上进行了评估,我们的方法明显优于同行的工作。
该研究利用预训练的文本-图像判别模型解决开放词汇语义分割的挑战,揭示了生成式文本到图像条件扩散模型作为高效的开放词汇语义分割器的潜力,并引入了一种名为DiffSegmenter的无需训练的新方法。在三个基准数据集上的实验证明,DiffSegmenter在开放词汇语义分割方面取得了令人印象深刻的结果。