EmerDiff：扩散模型中的新兴像素级语义知识
内容提要
本文综述扩散概率模型在语义分割中的应用，包括利用预训练扩散模型中间层捕捉语义信息实现少样本分割、借助Stable Diffusion注意力机制生成伪标签以减少像素级标注需求、提出无需训练的DiffSegmenter用于开放词汇分割，以及通过端到端学习、掩模先验和语义扩散网络提升分割性能。
延伸解读
扩散模型为何能用于分割
文章指出，预训练扩散模型的中间层能有效捕捉输入图像的语义信息，形成像素级的分割表示。这意味着扩散模型不仅是生成工具，其内部特征本身就可作为分割依据。基于此，仅需少量训练图像就能显著提升分割性能，为标注数据有限场景提供了新思路。
用Stable Diffusion生成伪标签
文章介绍了利用Stable Diffusion的文本提示、交叉注意力和自注意力生成分割图的方法，这些图可作为训练语义分割器的伪标签，从而减少对像素级标注的依赖。在PASCAL VOC和MSCOCO上的评估显示，该方法明显优于同行工作，说明生成模型在降低标注成本方面具有实际潜力。
无需训练的开放词汇分割
DiffSegmenter是一种无需训练的新方法，直接将输入图像和候选类别送入预训练条件潜在扩散模型，利用去噪U-Net产生的交叉注意力图作为分割分数，再由自注意力图细化。文章还设计了文本提示和类别过滤机制。在三个基准数据集上，该方法在开放词汇语义分割上取得了令人印象深刻的结果。
掩模先验与边界增强的补充
文章提到，简单地将扩散模型集成到语义分割中并不够，一次差的扩散过程设计可能导致性能下降。而使用掩模先验的方法在ADE20K和Cityscapes上达到了较高的定量和定性性能。此外，语义扩散网络（SDN）通过各向异性扩散过程增强边界特征，在多个分割基线模型上实现了一致改进。
Q&A
扩散模型如何用于少样本语义分割？
通过探究预训练扩散模型的中间层，发现它们能有效捕捉输入图像的语义信息，并作为像素级分割表示。基于此，提出一种简单方法，在仅有少量训练图像时显著提高分割性能。
如何利用Stable Diffusion生成伪标签来减少像素级标注？
利用Stable Diffusion的文本提示、交叉注意力和自我注意力，引入类别提示附加、类别提示交叉注意力和自我注意力指数化三种新技术，生成与合成图像对应的分割地图作为伪标签，从而消除对像素级注释的繁重需求。
DiffSegmenter是什么？它如何实现开放词汇语义分割？
DiffSegmenter是一种无需训练的新方法，将输入图像和候选类别输入到预训练的条件潜在扩散模型，利用去噪U-Net产生的交叉注意力图作为分割分数，再由自注意力图细化和完成分割，并设计了有效的文本提示和类别过滤机制。
扩散模型在语义分割中有哪些主要应用方向？
主要应用包括：利用中间层特征进行少样本分割；借助Stable Diffusion注意力机制生成伪标签；提出无需训练的DiffSegmenter用于开放词汇分割；通过端到端学习、掩模先验和语义扩散网络提升分割性能。
掩模先验如何提升语义分割质量？
使用去噪扩散生成模型建模的掩模先验来提高现有判别方法的语义分割质量。实验表明，简单的集成扩散模型不够，差的扩散过程设计可能导致性能下降，该方法在ADE20K和Cityscapes上达到较高性能。
语义扩散网络（SDN）如何增强边界特征？
SDN运用各向异性扩散过程进行边界特征增强，并引入可学习的SDN，构建从原始特征到跨类边界增强特征的可微映射，在多个分割基线模型上实现一致改进。
