平滑能量引导：通过减少注意力的能量曲率指导扩散模型
内容提要
本文提出了多种新方法以提升生成图像质量，包括模糊引导、高级自注意引导和无分割引导等。这些方法在无条件和条件生成任务中表现优越，显著提高了扩散模型的性能，并探讨了自适应引导和损失指导的影响，提出了有效的优化策略。
延伸解读
无需训练的高效引导方法
文章介绍的多种引导方法，如PAG、S-CFG、无分割引导和DSG，均无需额外训练即可提升扩散模型性能。PAG通过渐进增强样本结构改善采样质量；S-CFG定制语义单元的引导程度；无分割引导利用扩散模型作为隐含分割网络动态调整负提示；DSG作为插件模块几乎不增加计算开销。这些方法为实际部署提供了高效解决方案。
自适应引导与推理效率优化
针对无分类器引导的计算成本问题，研究提出了自适应引导（AG）变体，通过简单的仿射变换替代整个神经函数评估，在保持图像质量的同时减少计算量。这为文本条件扩散模型的快速推理和实际应用提供了宝贵洞见，尤其适合资源受限的场景。
损失指导的流形偏离问题与DSG解决方案
使用不可微损失函数进行指导虽无需额外训练，但常导致样本质量下降和采样过程延长。文章揭示了损失指导引起的流形偏离问题，并理论证明了其存在。为此提出的DSG方法基于高维高斯分布中的浓度现象，通过球面高斯约束将指导步骤限制在中间数据流形内，实现了闭合形式解，显著提高了样本质量和时间效率。
self-guidance：内部表示控制图像生成
self-guidance方法通过指导扩散模型的内部表示，提供对生成图像更强的控制力。它可以从表示中提取对象的形状、位置和外观等属性，并用于控制采样，类似于分类器引导但无需额外模型或训练。该方法支持复杂的图像操作，如修改对象位置或大小、合并外观和布局，并可应用于真实图像编辑。
Q&A
模糊引导和高级自注意引导的主要作用是什么？
这两种方法旨在增强生成图像的质量，并提高扩散模型的性能。
Perturbed-Attention Guidance (PAG) 方法是如何改善扩散采样质量的？
PAG 方法通过渐进式增强样本结构，显著提升了条件和无条件场景下的扩散采样质量。
Semantic-aware Classifier-Free Guidance (S-CFG) 方法有什么优势？
S-CFG 方法在文本到图像扩散模型中表现优越，且不需要额外的训练成本。
自适应引导（AG）变体的主要贡献是什么？
AG 变体在保持图像质量的同时减少了计算量，为实际应用提供了宝贵的洞见。
无分割引导方法的工作原理是什么？
无分割引导利用扩散模型作为隐含的分割网络，动态调整生成图像中每个补丁的负提示。
损失指导方法解决了什么问题？
损失指导方法揭示了流形偏离的问题，并提出了具有球面高斯约束的扩散模型来缓解这一问题。
