针对可控图像生成的空间感知潜变量初始化
内容提要
该文综述扩散模型在图像与视频生成中的空间控制方法，涵盖利用初始噪声和像素块增强布局控制、FreeInit提升视频时序一致性、交叉注意力与掩膜实现文本到图像空间引导，以及LayoutBench等评估方案，在布局到图像合成任务上取得最先进性能。
延伸解读
初始噪声与像素块：空间控制的新途径
文章指出，通过预先收集具有语义信息的像素块，并利用多个初始噪声构建初始图像，可以增强对生成图像的控制。实验表明，初始图像中的像素块倾向于生成特定内容，且这种影响主要取决于像素块的值而非位置。通过将具有所需生成倾向的像素块移动到指定区域，可以在无需训练的情况下实现布局到图像合成的最先进性能。这为空间控制提供了一种灵活且高效的方法。
FreeInit：提升视频时序一致性的推理策略
针对视频扩散模型，文章发现训练与推理之间存在隐式差距，并提出了一种名为FreeInit的推理采样策略。该策略无需额外训练，显著提高了生成视频的时间一致性。这对于视频生成任务具有重要意义，因为它在不增加训练成本的情况下改善了输出质量，为视频扩散模型的实际应用提供了有效解决方案。
交叉注意力与掩膜：文本到图像的空间引导
文章综述了通过交叉注意力地图和掩膜引导实现文本到图像生成的空间控制方法。这些方法无需额外训练，即可在定性和定量上实现比基线更准确的空间控制。此外，还提到了利用布局预测器和空间注意力控制相结合，优化组合权重，从而生成与文本更高保真的图像。这些技术为精细控制生成图像的空间布局提供了实用手段。
评估方案：LayoutBench与IterInpaint
为了评估生成模型在空间控制方面的能力，文章介绍了LayoutBench和IterInpaint两个基于互补技术的方案。它们旨在解决现有模型在处理任意或未见过的图像布局方面的不足，并在四个空间控制技能上进行定量和定性评估。这些评估工具对于推动空间控制研究的发展至关重要，帮助研究者更全面地衡量模型性能。
Q&A
如何通过初始噪声和像素块增强图像生成的空间控制？
使用预先收集的、具有语义信息的像素块，通过多个初始噪声进行初始图像构建，以增强对图像生成的控制。实验结果显示，初始图像构建在引导生成图像内容方面具有适应性，并在无需训练的布局到图像合成任务中取得了最先进的性能。
FreeInit 是什么？它如何提升视频扩散模型的时间一致性？
FreeInit 是一种简洁而有效的推理采样策略，通过深入研究视频扩散模型的噪声初始化，发现训练与推理之间的隐式差距，从而显著提高扩散模型生成的视频的时间一致性。
如何利用交叉注意力与掩膜实现文本到图像生成的空间引导？
通过交叉关注地图和掩膜引导，实现文本到图像生成的空间控制，无需额外训练。实验结果表明，该方法在定性和定量上比基线方法实现了更准确的空间控制。
像素块在初始图像中的生成偏好由什么决定？如何利用这一点进行布局到图像生成？
像素块的生成偏好主要由其值而不是位置决定。通过将具有生成用户所需内容倾向的像素块移动到用户指定的区域，可以显著影响生成的图像，且只影响特定区域。该方法在布局到图像生成方面实现了最先进的性能。
LayoutBench 和 IterInpaint 是什么？它们解决了什么问题？
LayoutBench 和 IterInpaint 是基于互补技术的图像布局与生成模型，旨在解决现有模型在处理任意或未见过的图像布局方面的不足，并在四个空间控制技能方面进行定量和定性评估。
有哪些方法可以实现文本到图像生成中的空间布局控制？
方法包括：利用初始噪声和像素块增强布局控制；通过交叉关注地图和掩膜引导实现空间控制；加入显式的空间-时间交叉注意力控制，结合布局预测器和空间注意力控制；以及布局引导技术改进交叉注意层。
