离散和连续状态空间的桥梁：在时间连续的扩散模型中探索埃伦费斯特过程
内容提要
本文探讨了贝叶斯框架和变分推断在扩散过程中的应用，提出了新的生成模型和算法，以提高离散时间马尔可夫过程的计算效率和预测能力。研究涵盖噪声调度、时间反演问题及混合系统的学习，展示了在不同维度数据集上的有效性和改进的插值能力。
延伸解读
理论桥梁：从离散到连续的等价性
文章指出，非均匀离散时间马尔可夫过程中的DDPM可以通过连续时间马尔可夫过程表示，并与Ornstein-Uhlenbeck过程建立形式等价。这意味着离散扩散模型的噪声调度设计可转化为连续过程的观测时间设计，为理解离散与连续扩散模型提供了统一视角。
噪声调度与观测时间设计的联系
研究进一步表明，DDPM中的噪声调度器设计问题等价于OU过程的观测时间设计问题。基于自动方差和费舍尔信息等指标，作者提出了几种启发式观测时间设计，并发现费舍尔信息驱动的调度与实践中常用的余弦调度完全一致，为后者提供了理论依据。
离散扩散模型的理论保证
文章提及一项研究通过连续马尔可夫链的均匀化算法，在随机时间点进行转移，得出了从超立方体上任何分布采样的总变异距离和KL散度保证。这为离散扩散模型提供了理论支撑，有助于评估其采样质量和收敛性。
混合系统与变分推断的新方法
文章介绍了神经跳跃随机微分方程，用于学习同时具有流动和跳跃的混合系统，并在标记点过程数据集上展示了预测能力。此外，基于神经常微分方程的变分推断算法在Markov跳跃过程中近似后验分布，比Monte Carlo和期望最大化方法更高效。
Q&A
什么是'Blackout Diffusion'方案？
'Blackout Diffusion'是一种新的方案，可以从空图像生成样本，帮助解释扩散模型。
如何通过扩散过程提高离散时间马尔可夫过程的计算效率？
通过贝叶斯框架和变分推断，将离散时间观察与连续时间约束转化为扩散过程的后验测量逆问题，从而提高计算效率。
非均匀离散时间马尔可夫过程的去噪扩散概率模型如何表示？
非均匀离散时间马尔可夫过程中的去噪扩散概率模型（DDPM）可以通过具有时间均匀性的连续时间马尔可夫过程表示。
扩散过程的时间反演问题有什么重要发现？
基于熵最优传输，研究得到了扩散过程的时间反演公式和半鞅特征的表达式。
神经跳跃随机微分方程的应用是什么？
神经跳跃随机微分方程用于学习具有流动和跳跃的混合系统，并展示了其在多个数据集上的预测能力。
如何通过新的生成模型处理不同维度的数据？
通过同时建模每个数据点的状态和维度，形成跳跃扩散过程，从而有效采样不同维度的数据。
