关于 Wasserstein 距离中扩散模型的一般概率流 ODE 的收敛性分析
内容提要
该文综述扩散模型生成过程的理论进展，涵盖概率流ODE的多项式时间收敛保证、确定性采样的非渐进收敛率、JKO流模型的KL收敛、Wasserstein距离上界及密度估计鲁棒性，并分析Fokker-Planck残差正则化的影响。
延伸解读
理论进展的时间脉络
文章按时间顺序梳理了扩散模型理论的重要节点：2023年5月出现首个概率流ODE的多项式时间收敛保证；6月建立确定性采样的非渐进收敛率；9月分析ODE模型训练的非参数统计收敛；10月提出JKO流模型的KL收敛保证；11月讨论Fokker-Planck残差正则化的影响；12月推导Wasserstein距离上界并研究密度估计鲁棒性。这些工作共同推动了扩散模型生成过程的理论理解。
收敛速率与采样方法的关系
文章指出，对于确定性采样方法，收敛速率与步骤总数T成反比；对于随机采样方法，收敛速率与T的平方根成反比。同时，两种加速变体可进一步提高收敛速度。这表明采样策略的选择直接影响理论收敛效率，确定性方法在步骤增加时可能具有更快的收敛表现。
Wasserstein距离上界的意义
文章强调，所推导的Wasserstein距离上界不依赖于数据生成分布的得分函数，适用于有界实例空间上的任意数据生成分布，即使这些分布对勒贝格测度没有密度。此外，上界不受指数依赖的影响，这为评估生成分布与真实分布之间的差异提供了更通用的理论工具。
正则化与鲁棒性的权衡
文章提到，增加Fokker-Planck残差作为正则化项可以缩小ODE和SDE生成分布之间的差距，但可能导致SDE样本质量下降。另一方面，概率流神经常微分方程模型的密度估计对高复杂度和高似然攻击表现出鲁棒性，有时对抗样本具有语义意义。这提示在实际应用中需权衡正则化效果与样本质量。
Q&A
扩散模型概率流ODE的首个多项式时间收敛保证是什么？
提供了一种基于分数的生成建模的概率流ODE实现的首个多项式时间收敛性保证，并通过基于欠阻尼朗之万扰动的特殊校正步骤获得了更好的维度依赖性。
确定性采样和随机采样在扩散模型中的收敛速率有何不同？
对于一种常见的确定性采样方法，收敛速率与步骤总数T成反比；对于另一种主流随机采样方法，收敛速率与步骤总数T的平方根成反比。同时设计了两种加速变体，进一步提高了收敛速度。
JKO流模型在生成数据方面的理论保证是什么？
通过使用渐进流模型JKO流模型，在生成数据方面提供了理论保证，证明了其数据生成能力的KL保证在一些条件下的收敛速度为O(ε^2)。
Fokker-Planck残差正则化对扩散模型有什么影响？
增加Fokker-Planck残差作为额外的正则化项可以缩小ODE和SDE生成的分布之间的差距，但这可能会导致SDE样本质量下降。
扩散模型和数据生成分布之间的Wasserstein距离上界有什么特点？
该上界不依赖于数据生成分布的得分函数，适用于具有有界实例空间的任意数据生成分布，即使这些分布对勒贝格测度没有密度，而且上界不会受到指数依赖的影响。
概率流神经常微分方程模型的密度估计对梯度似然最大化攻击的鲁棒性如何？
实验结果表明使用概率流神经常微分方程模型的密度估计对高复杂度和高似然攻击是鲁棒的，有时敌对样本具有语义上的意义，符合预期。
