PLACE：自适应布局 - 语义融合的语义图像合成
内容提要
该文综述基于语义布局的图像生成研究，涵盖稀疏注意力、自适应规范化、交叉注意力、分层生成、类比控制、多模态定位、LoCo无训练合成、图卷积场景布局及半参数合成等方法，旨在提升图像逼真度、布局对齐与语义一致性。
延伸解读
技术演进：从自适应规范化到稀疏注意力
文章梳理了语义图像合成中关键技术的演进。2019年提出的自适应规范化层通过调整激活函数，在提升视觉保真度和布局对齐的同时，允许用户控制语义与风格。2020年进一步引入高分辨率稀疏注意力模块和生成器架构，有效将输入图像的视觉细节迁移至新布局，在图像修补和布局操作上性能大幅提高。这些方法共同推动了生成图像与语义布局的精确对齐。
无需训练与半参数合成：降低数据依赖的新思路
针对传统方法依赖大量训练数据的问题，文章介绍了两种新思路。LoCo方法无需训练，通过局部化注意约束和填充令牌约束，实现个体对象的精确定位并防止不良融合，可集成到现有模型中。半参数方法则结合训练集记忆库与深度网络，比纯参数化技术生成更逼真的图像。这些方法为数据稀缺场景提供了可行方案。
多模态与分层框架：拓展语义合成的应用边界
语义合成技术正与多模态、分层框架结合。基于多模态Transformer的分层框架LAMPreT通过分层预训练理解文档布局，用于文本块填充和图像建议。2D VL定位方法利用场景语义布局的不变性，生成稳健嵌入向量，在三个定位数据集上平均绝对提高19%。这些进展表明，语义布局信息能有效提升跨模态任务的性能。
Q&A
PLACE 方法在语义图像合成中有什么创新？
PLACE 提出了一种高分辨率稀疏注意力模块和生成器架构，能在语义标签映射基础上，将输入图像的视觉细节转移到新布局，显著提升了图像修补和布局操作的性能。
自适应规范化层在语义图像合成中起什么作用？
自适应规范化层通过调整激活函数，合成具有输入语义布局的逼真图像，提高视觉保真度和与输入布局的对齐度，并允许用户控制语义和风格。
交叉注意力层如何改进图像生成的条件控制？
交叉注意力层替代反归一化层进行图像生成条件控制，实现全局和局部风格转换，同时保留先进的重建质量。
基于语义布局的文本到图像分层方法是如何工作的？
该方法通过语义布局生成器和图像生成器将生成过程分解为多个步骤，从而提高图像质量和与输入文本的语义对齐性。
LoCo 无训练布局到图像合成方法有什么特点？
LoCo 是一种无需训练的布局到图像合成方法，通过局部化注意约束和填充令牌约束，精确定位个体对象并防止不良融合，可集成到现有文本到图像和布局到图像模型中，在多个基准上超越最先进的无训练方法。
半参数方法如何用于基于语义布局的图像合成？
半参数方法结合训练集构建的图像片段记忆库与深度网络，比纯参数化技术更能生成逼真的图像。
