Text2Street: 街景可控制的文本至图像生成
内容提要
本文综述文本到图像、视频和3D生成的可控性研究，涵盖Text2Human（分层纹理码书生成多样人体图像）、Video-ControlNet（残差噪声实现可控视频）、LoRA结合ControlNet（增强建筑立面生成）、Control3D（手绘草图控制三维场景）、SpaText（基于CLIP的开放词汇场景控制）、Diff-Text（多语言场景文本生成）以及Text2Scene（从文本生成场景布局与纹理）。
延伸解读
可控生成的技术脉络
文章梳理了文本到图像、视频和3D生成中提升可控性的多种方法。Text2Human通过分层纹理码书和混合专家扩散变换器，实现细粒度文本控制下的人体图像生成；Video-ControlNet引入残差噪声初始化策略，利用边缘或深度图控制视频生成；Control3D则结合手绘草图和文本提示，通过改进的ControlNet引导NeRF学习，实现三维场景的交互式控制。这些工作共同反映了可控生成从2D向视频、3D扩展的趋势。
LoRA与ControlNet的协同应用
在建筑立面生成任务中，研究者先使用LoRA对Stable Diffusion进行微调，再应用ControlNet进一步控制输出。实验表明，LoRA训练方法显著降低了对大模型微调的可能性，而ControlNet的加入增强了基于文本生成建筑立面图像的可控性。这种组合策略为特定领域图像生成提供了高效且可控的解决方案，也提示读者关注轻量微调与外部控制模块的协同潜力。
开放词汇与多语言场景生成
SpaText基于CLIP的空间-文本表示，通过自由形式的自然语言分割图控制场景布局和对象形状，并提供了自动评估指标。Diff-Text则是一个无需训练的场景文本生成框架，支持任意语言的文本输入，通过局部化注意力约束和对比度图像级提示，在文本识别准确性和前景背景融合自然度上优于现有方法。这些工作推动了场景生成在语言开放性和多语言支持方面的进步。
场景布局与纹理生成的不同路径
Text2Scene存在两种不同实现：一种从自然语言描述生成组成场景表示，通过依次生成对象和属性，不使用GAN，结果可解释；另一种通过引用图像和文本描述，为标记三维几何体添加详细纹理，使生成颜色尊重分层结构或语义部分。两者分别侧重于场景布局和纹理合成，展示了文本到场景生成在表示形式和任务目标上的多样性。
Q&A
Text2Human 是什么？它如何实现高质量多样化的人体图像生成？
Text2Human 是一个基于文本的控制性框架，用于生成高质量和多样化的人类图像。它建立了一个分层的纹理感知码书来存储不同类型纹理的多尺度神经表征，并使用混合专家的扩散变换采样器采样码书中的索引。通过细粒度文本输入，生成的图像具有更高的质量和多样性。
Video-ControlNet 如何实现可控视频生成？
Video-ControlNet 是一种可控的文本到视频模型，可以生成由控制信号（如边缘或深度图）条件的视频。它采用了一种新的残差噪声初始化策略来实现输入视频的运动先验，并生成具有细粒度控制的高质量和连贯视频。
Control3D 如何通过手绘草图控制文本到3D生成？
Control3D 首次尝试在条件中添加手绘草图的文本到3D生成，以增强用户可控性。它通过改进的2D条件扩散模型（ControlNet）引导作为NeRF参数化的3D场景学习，使每个3D场景视角与给定的文本提示和手绘草图对齐。此外，利用预训练的可微分照片到草图模型直接估计合成3D场景上渲染图像的草图，并强制与给定草图在几何上保持一致，从而实现更好的可控文本到3D生成。
SpaText 是什么？它如何实现开放词汇的场景控制？
SpaText 是一种使用开放词汇场景控制的文本到图像生成方法，基于 CLIP 的空间-文本表示方法，通过支持自由形式的自然语言描述的感兴趣区域的分割图来控制场景的布局和不同区域对象的形状。它还提供了几种自动评估指标，并在具有自由形式文本场景控制的图像生成方面实现了最先进的结果。
Diff-Text 如何实现多语言场景文本生成？
Diff-Text 是一个训练免费的场景文本生成框架，能够以任何语言的文本和场景的文本描述为输入，输出逼真的照片。它通过引入局部化的注意力约束和对比度图像级提示，实现了场景文本的准确生成，并在文本识别准确性和前景背景融合的自然度方面优于现有方法。
Text2Scene 模型如何从自然语言描述生成场景？
Text2Scene 模型从自然语言描述中生成各种形式的组成场景表示。它不使用生成对抗网络（GANs），而是通过依次生成对象和它们的属性来学习生成场景，从而实现生成各种形式的场景表示，包括卡通样式的场景、与真实图像相对应的对象布局和合成图像。该方法不仅能够胜任与基于 GAN 的最先进方法相竞争的工作，而且其结果可以被解释。
