基于球面高斯约束的条件扩散引导
内容提要
本文综述扩散模型的生成控制方法，包括强化学习引导、流形保持引导、观测引导、可控条件扩散、模糊与自注意引导、高斯混合模型引导、扩散映射与朗格朗日动力学、特征引导及Steered Diffusion等，旨在提升3D形状、分子和图像生成的质量与效率。
延伸解读
扩散模型引导方法概览
文章综述了多种扩散模型生成控制方法，包括强化学习引导、流形保持引导、观测引导、可控条件扩散、模糊与自注意引导、高斯混合模型引导、扩散映射与朗格朗日动力学、特征引导及Steered Diffusion等。这些方法旨在提升3D形状、分子和图像生成的质量与效率，反映了扩散模型在条件生成领域的多样化探索。
无需训练的条件生成进展
MPGD和Steered Diffusion等方法实现了无需训练的条件生成框架，利用预训练扩散模型和现成神经网络，以最小附加推断成本适应各种条件生成应用。MPGD提供高达3.8倍的速度提升，Steered Diffusion在修补、着色、文本引导语义编辑和图像超分辨率等任务上表现出明显改进，同时增加可忽略的额外计算成本。
提升生成质量与稳定性的策略
模糊引导和高级自注意引导简单有效，能提高各种扩散模型的性能。高斯混合模型引导通过特征条件机制减少缺陷生成，并提出负高斯混合梯度提高训练稳定性。特征引导方法对无分类器指导的扩散概率模型进行非线性修正，以吻合福克-普朗克方程，优化样本生成并解决颜色、曝光等问题。
理论框架与稳定性处理
扩散映射与朗格朗日动力学结合，通过扩散映射近似训练样本的漂移项，并在离散时间朗格朗日采样器中实现，有效解决与时间步长严重随机微分方程相关的稳定性问题。该框架可自然扩展到生成条件样本，并在合成数据集和随机子网格尺度参数化条件采样问题上验证了性能。
Q&A
RGDM 模型是如何通过强化学习控制扩散模型生成的？
RGDM 通过强化学习引导扩散模型的训练阶段，从而实现对样本生成的控制。在 3D 形状和分子生成任务上，该模型相比现有条件扩散模型有显著改进。
MPGD 是什么？它有什么优势？
MPGD 是 Manifold Preserving Guided Diffusion，一种无需训练的条件生成框架。它利用预训练扩散模型和现成神经网络，附加推断成本最小，适用于各种条件生成应用，提供高样本品质和高达 3.8 倍的速度提升。
如何减轻扩散模型中的数据偏置？
可以通过使用流形引导来减轻扩散模型中的数据偏置。该方法不需要改变模型架构、标签或重新训练，就能改善生成图像的品质和无偏性。
OGDM 解决了扩散模型的什么问题？
OGDM 是观测引导扩散概率模型，它有效地解决了质量控制和快速采样之间的权衡问题。
可控条件扩散是什么？它有什么应用？
可控条件扩散是一种新型采样框架，将去噪扩散模型与可用测量数据结合，实现对多样成像模态下离群任务的显著改进，推动去噪扩散模型在实际应用中的鲁棒部署。
模糊引导和自注意引导是什么？它们有什么作用？
模糊引导和高级自注意引导是两种新的无需条件策略，用于增强生成图像的质量。它们简单有效，能提高各种扩散模型的性能。
高斯混合模型在扩散模型中如何用作条件引导？
利用高斯混合模型作为特征条件引导去噪过程，构建基于高斯混合模型的条件机制。实验证明，特征上的条件潜在分布比类别上的条件潜在分布产生更少缺陷。还提出了负高斯混合梯度作为新的梯度函数，通过额外分类器在训练中应用，提高训练稳定性，并从理论上证明了其与地球移动距离在学习低维流形分布时具有相同优势。
扩散映射和朗格朗日动力学结合的生成模型有什么特点？
该模型通过扩散映射近似训练样本的漂移项，并在离散时间的朗格朗日采样器中实现生成新样本。通过设置核带宽与未调整朗格朗日算法中的时间步长相匹配，有效解决了与时间步长严重随机微分方程相关的稳定性问题。框架可自然扩展到生成条件样本，并在合成数据集和随机子网格尺度参数化条件采样问题上验证了性能。
特征引导方法如何修正无分类器指导的扩散模型？
特征引导方法用于对无分类器指导的扩散概率模型进行非线性修正，以保证其与底层扩散过程的福克-普朗克方程相吻合，同时优化样本生成过程，解决颜色、曝光等问题，还能处理相变等物理问题。
Steered Diffusion 是什么？它有什么应用？
Steered Diffusion 是一个通用框架，通过使用预训练逆模型设计的损失，利用扩散模型的生成控制能力，实现基于扩散模型的逼真零样本条件图像生成，在推理时引导图像生成过程。实验表明，在修补、着色、文本引导的语义编辑和图像超分辨率等任务上，相比最先进的基于扩散的即插即用模型有明显改进，且额外计算成本可忽略。
