离散状态空间上的生成流：实现多模态流与蛋白质协同设计应用
内容提要
本文综述离散生成模型进展，涵盖离散流、去噪流、GraphDF、D3PM、MAD Mix等方法，应用于语言、分子图、图像与点云建模。研究表明：离散自回归流优于自回归基线，离散二部流可与之竞争；DDFs优于Discrete Flows；D3PM过渡矩阵选择关键；新方法在速度与质量上显著提升。
延伸解读
离散生成模型的关键技术路线
文章梳理了离散生成模型的多种技术路线，包括离散自回归流、离散二部流、离散去噪流（DDFs）、GraphDF、D3PM、MAD Mix等。这些方法分别针对语言、分子图、图像与点云等不同数据模态，核心挑战在于离散状态空间上难以直接应用连续归一化流。研究者通过可逆模数转换、过渡矩阵设计、变分流等策略，在保持离散特性的同时实现高效生成。
性能对比与方法选择
实验表明，离散自回归流在语言建模上优于自回归基线，离散二部流在字符级语言建模中可与自回归基线竞争。DDFs在对数似然度量上优于Discrete Flows，而D3PM中过渡矩阵的选择对图像和文本生成结果至关重要。这些对比为不同任务下的方法选择提供了参考：若追求似然优化，DDFs可能更合适；若关注生成质量与速度的平衡，则需考虑过渡矩阵设计或MAD Mix等方案。
效率提升与实际应用潜力
文章提到，软吸收状态方法通过ODE求解器在连续空间加速采样，训练收敛速度提升4倍，生成相似质量样本的速度提升800倍。基于归一化流和仿射耦合层的点云模型在训练和推理速度上也有明显提升。这些效率改进使离散生成模型更接近实际应用，尤其在需要快速采样的场景（如分子设计、三维形状重建）中具有潜力。
Q&A
离散流模型是什么？它有哪些主要类型？
离散流模型是将归一化流推广到离散分布上的生成模型，主要包括离散自回归流和离散二部流。
离散自回归流和离散二部流在语言建模中的表现如何？
在字符级语言建模上，离散自回归流优于自回归基线模型，而离散二部流可以与自回归基线模型竞争。
D3PM是什么？它的关键设计是什么？
D3PM是离散去噪扩散概率模型，用于离散数据的扩散式生成。其关键设计是过渡矩阵的选择，包括仿真高斯核、嵌入空间最邻近和吸收状态等，对图像和文本生成结果至关重要。
GraphDF如何解决分子图生成中的离散结构建模问题？
GraphDF是一种离散潜变量模型，使用归一化流和可逆的模数转换将离散潜变量映射为图节点和边，从而避免连续潜变量的问题，在随机生成、属性优化和约束优化任务中优于先前方法。
MAD Mix相比连续嵌入的流有什么优势？
MAD Mix是一种不需要连续嵌入的离散分布变分流，通过测量保持和离散可逆映射生成离散目标的可靠逼近，并且比连续嵌入的流训练速度显著更快。
离散扩散模型在采样速度上有哪些改进？
通过引入软吸收状态扩展扩散模型学习基于高斯空间的离散突变重构，并使用最先进的ODE求解器在连续空间中加速采样，训练收敛速度提升4倍，生成类似质量样本的速度提升800倍。
