基于扩散先验的分阶段变分推断模型在噪声逆问题中的应用
内容提要
本文提出了一种基于变分法的正则化方法RED-Diff，旨在解决扩散模型后验分布不可计算的问题。通过引入不同时间步的去噪器，提升了图像修复等应用的性能。此外，去噪扩散变分推断（DDVI）算法和ProjDiff算法在图像恢复和信源分离任务中表现优异，展示了其实际应用潜力。
延伸解读
扩散模型后验不可计算问题的解决思路
扩散模型在逆问题中应用时，后验分布往往难以计算。本文提出的RED-Diff方法通过变分正则化，在不同时间步引入去噪器来约束图像结构，从而提升图像修复性能。这为处理复杂后验提供了一种可行途径，但需注意其效果依赖于去噪器的设计与时间步的选择。
变分推断与扩散模型的结合：DDVI与DD-VAE
去噪扩散变分推断（DDVI）利用辅助潜变量增强变分后验，通过反转噪声过程在潜变量空间扩散，并优化受wake-sleep启发的下界。该方法易于实现且兼容黑盒变分推断，在深层潜变量模型中形成DD-VAE，并在从人类基因组推断潜在祖先的任务上优于基线。这展示了扩散模型在变分推断中的潜力，但计算成本可能较高。
ProjDiff与A-DPS：实际应用中的性能表现
ProjDiff通过辅助优化变量将噪声逆问题转化为约束双变量优化，有效利用预训练扩散模型的先验，在图像恢复和信源分离中表现优异。A-DPS框架则能从线性损坏数据中学习，在CelebA等数据集上速度与性能有时超过干净数据训练的模型，并成功扩展至MRI加速采样。这些方法凸显了扩散模型在逆问题中的实际应用潜力，但泛化能力仍需进一步验证。
零样本解决方案与后验协方差优化
最新扩散模型为嘈杂线性反问题提供零样本解决方案，无需针对特定问题重新训练。本文从条件后验均值近似角度解释现有方法，指出其相当于对不可行后验进行各向同性高斯近似，并基于最大似然估计提出通用即插即用后验协方差优化方法，显著提升性能或超参数鲁棒性。这为无需重新训练的最优后验协方差提供了新思路，但依赖于预训练模型的质量。
Q&A
RED-Diff方法的主要目的是什么？
RED-Diff方法旨在解决扩散模型后验分布不可计算的问题。
去噪扩散变分推断（DDVI）算法的优势是什么？
DDVI算法通过辅助潜变量增强变分后验，适用于深层潜变量模型，表现优于其他近似后验方法。
ProjDiff算法在图像恢复中有什么表现？
ProjDiff算法有效利用预训练扩散模型的先验信息，在图像恢复和信源分离任务中表现优异。
环境扩散后验采样（A-DPS）框架的主要功能是什么？
A-DPS框架能够从线性损坏的数据中学习，提升图像修复任务的速度和性能。
如何实现实时推理的先验分布方法？
通过学习贝叶斯逆映射，基于深度神经网络参数化的先验分布方法实现实时推理。
最新的扩散模型如何解决嘈杂的线性反问题？
最新的扩散模型提供了一种无需为特定反问题重新训练的零样本解决方案，优化后验协方差以提高性能。
