改善和统一的离散和连续时间离散去噪扩散
内容提要
该文综述扩散模型进展：提出离散数据连续时间去噪框架与CTMC采样器，加速离散扩散并提升样本质量；设计连续动力系统去噪网络，大幅减少参数与计算量，推理提速70%；D3PM用过渡矩阵改进离散生成；扩散桥、随机控制及Step-Adaptive Training提升去噪、异常检测与训练效率。
延伸解读
连续时间框架的理论突破
文章指出，该研究提出了首个完整的离散数据扩散模型去噪的连续时间框架，利用连续时间马尔可夫链（CTMC）进行有效训练，并借助高维CTMC模拟技术导出高性能采样器，超越了离散时间方法。此外，还给出了生成样本分布与真实数据分布之间误差的新理论结果，为离散扩散模型提供了理论支撑。
推理加速与参数效率的显著提升
通过设计连续动力系统去噪网络，模型在参数效率、收敛速度和噪声鲁棒性上均有提升。与基准模型相比，该模型仅需约四分之一的参数量和百分之三十的浮点操作数（FLOPs），推理速度提高了70%，并且收敛到了更好的质量解。这表明连续时间方法能大幅降低计算开销。
离散扩散模型的关键改进与挑战
D3PM通过引入过渡矩阵（如仿真高斯核、嵌入空间最邻近、吸收状态等）改进了离散数据的扩散生成，研究表明过渡矩阵的选择对图像和文本生成结果至关重要。同时，综述也指出了离散模型的当前限制，并预见了未来研究方向，提示读者关注离散扩散在生成质量与效率间的平衡。
Q&A
离散扩散模型有没有连续时间框架？
有。该研究提出了第一个完整的离散数据扩散模型去噪声的连续时间框架，使用连续时间马尔可夫链（CTMC）模型进行有效训练，并利用高维CTMC模拟技术和连续时间框架导出高性能抽样器，超越了离散时间方法。
如何加速离散扩散模型的采样并提升样本质量？
通过提出一种新颖的去随机扩散过程来加速离散扩散模型的算法，并引入连续时间采样算法，能够比有限步长的离散时间采样算法提供更好的样本质量。实验表明在自然语言生成和机器翻译任务中，生成速度和样本质量均表现出优越性。
有没有参数和计算量更少的扩散模型去噪网络？
有。利用连续动力系统设计了一种新型去噪网络，以提高扩散模型的参数效率、收敛速度和噪声鲁棒性。与基准模型相比，该模型具有约四分之一的参数量和百分之三十的浮点操作数（FLOPs），推理速度提高了70％，并且收敛到了更好的质量解。
D3PM是什么？它如何改进离散数据的生成？
D3PM是离散去噪扩散概率模型，用于离散数据的扩散式生成模型。它包括了仿真高斯核、嵌入空间中基于最邻近、引入吸收状态等过渡矩阵。研究表明过渡矩阵的选择对图像和文本领域下的生成模型结果至关重要，且提出的新损失函数在字符级别文本生成上取得了很好的效果。
扩散模型在异常检测中有什么新应用？
通过扩展隐式条件方法，提出了一种新的框架，通过动态步长计算、无噪声缩放输入和潜在空间投影的方式增强了扩散模型的能力，有效地定位异常，并在两个著名异常检测数据集上取得了最先进的性能。
Step-Adaptive Training是什么？它有什么优势？
Step-Adaptive Training是一种创新的训练策略，通过在初始阶段训练一个基础去噪模型来涵盖所有时间步长，然后将时间步长分成不同的组，在每个组内进行微调以实现专门的去噪能力。这种方法不仅提高了模型性能，还显著降低了计算成本。
