基于神经网络的扩散模型分值估计：优化与泛化
内容提要
该文综述扩散生成模型理论：通过变分框架推导连续时间扩散，证明最小化得分匹配损失等价于最大化可逆SDE似然下界；深度网络可高效近似得分函数，线性结构可加速采样15-30%；提出正则化非参数回归统一视角及迭代正则化得分估计器；去噪网络具强泛化与几何自适应谐波归纳偏差；应用于MRI重建、无训练采样和不平衡分类。
延伸解读
理论统一：得分匹配与似然下界
文章通过变分框架推导连续时间扩散理论，证明最小化得分匹配损失等价于最大化可逆SDE的似然下界。这一结论为扩散模型提供了坚实的理论基础，说明得分匹配不仅是启发式方法，而是有原则的统计估计问题。读者可借此理解扩散模型训练目标与最大似然估计之间的内在联系。
线性结构加速采样
文章指出得分函数中存在线性结构，可精确预测初始扩散轨迹，从而加速图像采样15-30%。这一发现对模型设计和数据预处理具有实际意义，意味着通过分析得分函数的线性特性，可以在不牺牲生成质量的前提下提升采样效率，为实际部署提供优化方向。
去噪网络的泛化与归纳偏差
文章展示在非重叠数据子集上训练的两个去噪DNN学习到几乎相同的得分函数，表明网络具有强泛化能力。进一步分析发现，去噪器执行收缩操作，并产生几何自适应谐波表示，这种归纳偏差与图像特性一致。这解释了为何深度网络能有效学习高维密度，并暗示架构设计可借鉴此类偏差。
应用与扩展：从MRI到不平衡分类
文章提及得分扩散模型在MRI重建、无训练采样和不平衡分类等任务中的应用。例如，使用分数梯度模型重构复杂值数据，加速MRI；基于最近邻的得分估计器实现无需训练的采样；在判别式设置中改善二分类性能。这些应用展示了得分扩散模型的通用性和实用性。
Q&A
扩散模型中的得分匹配损失和可逆SDE的似然下界有什么关系？
通过变分框架推导连续时间扩散理论，最小化得分匹配损失等价于最大化可逆SDE插件的似然下界。
深度神经网络如何用于近似扩散模型的得分函数？
深度神经网络可以高效近似得分函数，通过变分推断去噪算法在图模型中实现，并适用于高效的神经网络表示，结合离散化误差界限提供样本复杂度界限。
扩散模型中的线性结构如何帮助加速图像采样？
通过规范分析发现分数模型中存在线性结构，能够精确预测初始扩散轨迹，从而加速图像采样15-30%，对模型设计和数据预处理有重要意义。
基于正则化非参数回归的得分估计统一视角是什么？
提出基于正则化非参数回归框架的统一视角，允许分析现有估计器并选择不同假设空间和正则化器构建新估计器，还提出了基于迭代正则化的分数估计器。
去噪神经网络在扩散模型中表现出怎样的泛化能力？
在非重叠数据集子集上训练的两个去噪DNN学习到几乎相同的评分函数和密度，只需很少训练图像，表明DNN架构和训练算法具有强归纳偏差，与数据分布特性一致。
得分扩散模型在MRI重建等反问题中有哪些应用？
使用分数梯度模型重构图像，连续时间依赖分数函数训练，可用于解决成像反问题，尤其是加速MRI，具有强大性能及实用性，可重构复杂值数据。
