基于分数的扩散模型通过随机微分方程
内容提要
研究比较了基于ODE和SDE的概率流与扩散模型，发现扩散系数越大，SDE样本误差指数级下降，变化扩散系数可提升样本质量。多项工作提出基于BSDE、随机微分方程及得分匹配的生成方法，并探索图生成、DNA序列设计等应用。
延伸解读
扩散系数与样本误差的关系
文章指出，对于特定的脉冲形状误差，扩散系数越大，使用SDE模型生成样本的误差会指数级下降。这意味着在扩散模型中，通过调整扩散系数可以显著影响生成样本的准确性。此外，变化扩散系数还能提高样本质量，这为优化扩散模型提供了理论依据。
ODE与SDE模型的性能比较
研究比较了基于ODE和SDE的概率流与扩散模型。结果表明，增加Fokker-Planck残差作为正则化项可以缩小ODE和SDE生成分布之间的差距，但可能导致SDE样本质量下降。这提示在实际应用中需要权衡分布匹配与样本质量。
基于BSDE的扩散模型优势
文章提到基于BSDE的扩散模型采用适应现有评分函数的方法，确定达到所需终端分布所需的初始条件。研究表明，采用Lipschitz网络进行评分匹配具有优势，该方法在扩散反演、条件扩散和不确定性量化等领域有应用潜力。
扩散模型在特定领域的应用
文章提及了扩散模型在多个领域的应用，如使用Dirichlet扩散分数模型进行生物序列生成及DNA序列设计，以及基于得分的图生成模型，通过随机微分方程系统对节点和边缘进行联合分布建模，在生成现实世界图形和分子方面表现出优异性能。
Q&A
扩散系数的大小如何影响SDE模型生成样本的误差？
对于特定的脉冲形状误差，扩散系数越大，使用SDE模型生成样本的误差就会指数级下降。
变化扩散系数对样本质量有什么影响？
变化扩散系数可以提高样本质量。
基于BSDE的扩散模型有什么优势和应用潜力？
采用Lipschitz网络进行评分匹配具有优势，该方法具有应用于不同领域（如扩散反演、条件扩散和不确定性量化）的潜力。
增加Fokker-Planck残差作为正则化项对ODE和SDE生成的分布有什么影响？
可以缩小ODE和SDE生成的分布之间的差距，但这可能会导致SDE样本质量下降。
基于随机微分方程的得分模型生成方法是如何工作的？
通过缓慢注入噪声将复杂数据分布平滑地转换为已知的先验分布，并通过缓慢地消除噪声将先验分布转换回数据分布，同时利用基于神经网络的得分生成建模技术精确估计这些得分，并使用数值微分方程求解器生成样本。
基于得分的图生成模型采用了什么框架，效果如何？
采用连续时间框架下的新图扩散过程，通过随机微分方程系统对节点和边缘进行联合分布建模，并提出了适用于该过程的新颖得分匹配目标，通过求解反向扩散过程的方程系统高效采样。在多个数据集上验证，生成具有挑战性的现实世界图形时获得了优异的性能，并能够生成符合训练分布的分子。
