关于测度自由、保守性和扩散模型中的内在维度估计
内容提要
综述扩散模型理论：通过变分框架推导连续时间扩散理论，证明最小化得分匹配损失等价于最大化可逆SDE似然下界；将得分匹配视为凸优化，对两层神经网络扩散模型进行非渐近分析；提出去噪扩散算子框架并推广至无限维函数空间；利用深度神经网络近似得分函数，建立样本复杂度界限；将扩散模型扩展至不等式约束流形及几何先验无限维建模。
延伸解读
理论框架的演进脉络
文章梳理了扩散模型理论从连续时间变分推导到非渐近分析、再到无限维函数空间推广的演进路径。早期工作通过变分框架建立得分匹配与可逆SDE似然下界的关系，后续研究将得分匹配视为凸优化，对两层神经网络扩散模型进行非渐近分析，并进一步提出去噪扩散算子框架，将扩散模型推广至无限维函数空间。这一脉络显示扩散模型理论正从渐近分析向有限数据、非渐近及无限维场景拓展。
非渐近分析的实际意义
文章指出，现有扩散理论主要是渐近的，而针对有限数据的神经网络扩散模型，研究给出了确切的预测评分函数表征并建立了收敛结果。这意味着在非渐近设置下，神经网络扩散模型的学习过程有了更精确的理论刻画，有助于理解有限样本下模型如何收敛，为实际训练中样本量选择与网络设计提供理论参考。
约束流形与几何先验的扩展
文章提到两种将扩散模型扩展至不等式约束流形的方法：基于对数障碍度量的失真度量和基于反射布朗运动的失真度量，并在蛋白质骨架和机器人臂运动等任务中进行了实证。此外，研究还将几何先验引入无限维建模，通过构建噪声过程和近似得分实现对称性。这些扩展表明扩散模型正从无约束生成走向带约束和几何结构的复杂场景。
样本复杂度与成像应用
文章讨论了利用深度神经网络近似评分函数的效率，通过变分推断去噪算法在图模型中近似评分函数，并结合离散化误差界限为扩散生成建模提供有效的样本复杂度界限。同时，研究提出使用分数梯度模型重构图像，并应用于加速MRI等反问题，可重构复杂值数据。这显示扩散模型在理论边界与医学成像等实际任务中均有进展。
Q&A
扩散模型的理论基础是什么？
扩散模型的理论基础是通过变分框架推导出的连续时间生成扩散理论，其中最小化得分匹配损失等价于最大化可逆SDE似然的变分下界。
得分匹配在扩散模型中如何被分析？
得分匹配和去噪得分匹配被视为凸优化问题，对基于两层神经网络的扩散模型进行了非渐近分析，并建立了收敛结果。
去噪扩散算子框架是什么？
去噪扩散算子是一个数学严谨的框架，用于在函数空间中训练扩散模型，将扩散模型推广到无限维函数空间，其中前向过程逐渐扰动输入函数，生成过程通过积分的函数值Langevin动力学实现。
扩散模型如何扩展到不等式约束流形？
通过两种方法扩展扩散模型至不等式约束定义的流形：基于对数障碍度量的失真度量和基于反射布朗运动的失真度量，并在蛋白质骨架和机器人臂运动等任务中进行了实证。
深度神经网络近似得分函数的样本复杂度界限是什么？
利用深度神经网络近似得分函数，通过变分推断去噪算法在图模型中得到较好近似，并结合离散化误差界限，为基于扩散的生成建模提供了有效的样本复杂度界限。
扩散模型如何引入几何先验进行无限维建模？
通过构建噪声过程和近似得分实现对称性，将几何先验引入无限维建模，展示了模型适用于模拟任意对称性情景，并在复杂合成场景和天气数据上具有可扩展性和容量。
