场景图像合成：将 CLIP 引导与图结构条件整合于扩散模型中
内容提要
本文综述基于场景图的图像生成研究，利用扩散模型、ControlNet、门控自注意力及图卷积网络，从场景图生成高质量、语义对齐的图像，涵盖文本驱动编辑、3D场景引导与递增式生成，在Visual Genome、COCO-Stuff等基准上超越现有方法。
延伸解读
从布局到语义：场景图生成的技术演进
文章梳理了场景图生成图像的技术路线演变。早期方法（如2018年）依赖图卷积预测边界框和分割掩模，再通过级联细化网络生成图像，侧重布局准确性。2022年后，扩散模型逐渐成为主流，如两阶段模型利用CLIP嵌入和扩散解码器提升多样性，同时保留语义。2023年的工作进一步引入ControlNet和门控自注意力，以应对数据稀缺问题。这一演进显示，研究重点从单纯布局生成转向语义对齐与高质量合成。
扩散模型与CLIP引导的融合策略
文章提到多种利用CLIP引导扩散模型的方法。例如，DiffusionCLIP将扩散模型用于文本驱动图像操作，支持多属性编辑；另一项研究比较了CLIP指导和无分类器指导，发现后者在照片逼真度和字幕相似性上更受人类青睐。此外，2023年有方法通过边界框和分割映射在推理时引导采样，提高文本到图像生成的准确性和分辨率。这些策略表明，CLIP与扩散模型的结合正成为提升生成可控性的重要方向。
3D场景与递增式生成的拓展
文章还涵盖了场景图在3D和递增式生成中的应用。2023年的一项工作将场景图用于3D场景扩散引导，在去噪网络中引入关系图卷积块，利用相对空间信息提升场景描述与生成场景的对齐。另一项研究（2019年）提出递增式图像生成模型，结合递归神经网络、图卷积网络和生成对抗网络，逐步生成多对象图像。这些拓展显示场景图不仅能指导2D图像合成，还能支持更复杂的3D和交互式生成任务。
基准测试与性能表现
文章多次提及在Visual Genome和COCO-Stuff等公共基准上的评估。例如，2022年11月的方法通过学习场景图嵌入直接优化与图像的对齐，在基准上超越了当时最佳方法；2023年4月的方法也在公共基准测试中超越了基于场景图和文本的扩散模型。这些结果表明，场景图引导的扩散模型在语义对齐和生成质量上具有优势，但文章未提供具体数值，读者需参考原论文获取详细对比。
Q&A
场景图像合成中如何利用CLIP引导扩散模型？
文章提到DiffusionCLIP方法使用扩散模型进行文本驱动的图像操作，比现有基线表现更优异，并允许简便的多属性操作。此外，有研究比较了CLIP指导和无分类器指导，发现后者在照片逼真度和字幕相似性上更受人类评估人员青睐。
图结构条件（如场景图）如何整合到扩散模型中？
文章介绍了多种整合方式：使用ControlNet和Gated Self-Attention解决稀缺数据问题；在去噪网络中使用关系图卷积块利用场景图的相对空间信息；通过学习场景图嵌入直接优化其与图像的对齐，并使用遮蔽自编码丢失和对比丢失训练嵌入。
基于场景图的图像生成在哪些数据集上表现优异？
文章提到在Visual Genome和COCO-Stuff数据集上，通过学习场景图嵌入直接优化与图像对齐的方法表现优异，超过了当前最好的方法。
DiffuseSG模型是什么？它有什么特点？
DiffuseSG模型用于联合场景图像生成任务，探索生成逼真的场景图，使得图像生成具备高效和可解释性的控制能力，并展示了在场景图生成及相关应用中的优越性。
如何利用场景图进行3D场景扩散引导？
文章提出一种新方法，在去噪网络中使用关系图卷积块来利用场景图提供的相对空间信息，显著提高了场景描述与生成场景之间的对齐。
场景图递增式图像生成模型是如何工作的？
该模型通过使用递归神经网络、图卷积网络以及生成对抗网络来生成逼真的多对象图像，实验结果表明其在生成逐步增长场景图的情况下比其他方法更优。
