因式分解扩散结构用于无监督图像生成与分割
原文中文,约500字,阅读约需2分钟。发表于: 。我们发展了一种神经网络架构,以无监督的方式作为去噪扩散模型进行训练,同时学习生成和分割图像。通过去噪扩散目标来推动学习,无需任何注释或有关区域的先验知识进行训练。神经网络的计算瓶颈鼓励去噪网络将输入分成区域,在并行处理中去噪并结合结果。我们训练的模型生成了合成图像,并通过简单检测其内部预测分割来进行语义分割。在没有任何微调的情况下,我们直接将我们的无监督模型应用于通过加噪和随后去噪来分割真实...
该研究利用预训练的文本-图像判别模型解决开放词汇语义分割的挑战,提出了一种名为DiffSegmenter的无需训练的新方法。该方法利用生成式文本到图像条件扩散模型作为高效的开放词汇语义分割器,并设计了有效的文本提示和类别过滤机制以增强分割结果。实验证明,DiffSegmenter在开放词汇语义分割方面取得了令人印象深刻的结果。