无条件生成器的语义图像合成
内容提要
该文综述语义图像合成研究，涵盖基于GAN、无监督学习、扩散模型及Transformer的方法，应用于人脸与城市场景生成、语义分割等任务，强调生成多样性、控制能力及减少配对数据与计算成本，并展望多域学习与域泛化趋势。
延伸解读
语义图像合成的技术演进
文章梳理了语义图像合成从早期基于GAN的方法到扩散模型和Transformer的演进。2019年已有基于语义瓶颈的GAN模型，2023年出现结合小波域鉴别器的无监督范式，以及基于交叉注意力机制的GAN辨别器，后者在推理计算量上比扩散模型减少两个数量级。这反映了该领域在生成质量与效率之间的持续权衡。
无监督与配对数据的成本权衡
文章多次强调减少配对数据依赖。2023年5月提出的USIS框架通过自监督分割损失和小波域鉴别，在无需大量配对数据下缩小了配对与非配对模型的性能差距。同年7月的工作则利用无监督学习和鉴别器生成城市场景，避免高昂的验证和训练数据成本。这些方法旨在平衡生成质量与数据标注开销。
合成数据对下游任务的实用价值
文章指出合成图像可缓解数据收集和标注负担。2019年的工作表明，基于语义瓶颈的GAN生成的合成数据能作为额外训练数据，大幅提升分割至图像综合网络的性能。2023年10月的研究进一步通过生成中间卷积特征来增强语义分割训练。这些应用显示语义图像合成不仅用于生成，还能反哺分割等任务。
多域学习与域泛化趋势
文章在综述中强调DASiS技术的影响，包括多域学习、域泛化和在新环境分割时削减域差异。2023年3月的论文将条件网络与后验分布结合，在标准和跨领域语义分割上达到新最佳性能。这表明语义图像合成正从单一域生成向跨域适应和泛化方向发展，以提升模型在新环境中的鲁棒性。
Q&A
语义图像合成主要有哪些技术方法？
文章提到语义图像合成涵盖基于GAN、无监督学习、扩散模型及Transformer的方法。
语义图像合成有哪些应用场景？
应用于人脸与城市场景生成、语义分割等任务，也涉及医学图像分割。
如何减少语义图像合成对配对数据的依赖？
文章提出无监督学习范例（USIS），使用自监督分割损失和基于小波的鉴别方法，结合小波域生成器结构，无需大量配对数据即可实现语义图像合成。
语义图像合成中如何降低计算成本？
文章提到一种基于特征骨干网络和交叉注意力机制的GAN辨别器，在推理过程中计算量比扩散模型减少两个数量级。
语义图像合成如何提升生成多样性和控制能力？
通过嵌入类别到潜在空间并使用双向LSTM块和卷积解码器，可以独立编辑每个类别的嵌入向量，输出新的本地操作后的掩码，从而获得较高的生成多样性和控制能力。
语义图像合成的研究趋势是什么？
文章强调多域学习与域泛化趋势，并关注使用Transformer的深度学习方法以及DASiS技术的影响。
