高效大规模图生成的随机游走扩散
内容提要
本文介绍了多种基于扩散模型的图生成方法，包括扩散排序网络、去噪网络和自回归扩散模型，这些方法显著提高了生成性能和速度。同时，提出了改进的图嵌入分析框架和去随机扩散过程，优化了自然语言生成和机器翻译任务的样本质量。
延伸解读
扩散模型在图生成中的演进
文章梳理了从GraphRNN到PARD的图生成模型发展脉络。GraphRNN基于自回归，可模拟任意图分布并扩展到更大规模；而扩散模型通过节点吸收扩散过程，结合排序与去噪网络，提升了生成性能与速度。PARD进一步融合自回归与扩散，在分子和非分子数据集上达到最新水平，并能处理190万分子的大规模数据。这些进展显示图生成正从单一范式走向混合架构。
随机游走框架对图嵌入的革新
文章提出的随机游走图嵌入分析框架包含随机游走过程、相似性函数和嵌入算法三个组件，能统一分类现有方法并启发新方法。实验发现，基于自协方差相似性的嵌入在链路预测任务中，相比基于点互信息相似性的最先进方法，性能提升高达100%。这表明相似性函数的选择对下游任务效果至关重要，为图嵌入研究提供了新方向。
去随机扩散加速离散生成
针对离散扩散模型采样慢的问题，文章提出去随机扩散过程，并引入连续时间采样算法，在自然语言生成和机器翻译任务中，同时提升了生成速度和样本质量。与有限步长的离散时间采样相比，连续时间采样能提供更优的样本质量。这一改进有助于扩散模型在文本生成领域的实际部署，平衡效率与效果。
扩散模型效率优化的多样探索
文章还介绍了AdaDiff框架，它通过学习实例特定的步骤使用策略，优化图像/视频生成过程，在减少至少33%推理时间的同时保持与基准相似的视觉质量。此外，基于数据的方法学习类特定扩散函数，改善扩散分类器性能，超越了依赖节点嵌入和深度神经网络的方法。这些工作表明，扩散模型在效率与专用任务上仍有较大优化空间。
Q&A
扩散排序网络和去噪网络的作用是什么？
扩散排序网络和去噪网络通过节点吸收扩散过程实现更好的生成性能和快速生成速度。
自回归扩散模型如何解决自然语言中的顺序依赖问题？
自回归扩散模型通过引入动态去噪步骤来解决自然语言中的顺序依赖问题，表现优异。
PARD模型的特点是什么？
PARD模型结合扩散模型与自回归方法，在分子和非分子数据集上取得了最新性能，并可扩展到大型数据集。
随机游走的图嵌入分析框架有什么创新之处？
该框架通过随机游走过程、相似性函数和嵌入算法改进下游任务性能，并激发新方法的产生。
去随机扩散过程如何提升生成速度和样本质量？
去随机扩散过程加速了离散扩散模型算法，提升了自然语言生成和机器翻译任务的样本质量。
AdaDiff框架的主要优势是什么？
AdaDiff框架优化了图像/视频生成过程，减少推理时间并保持视觉质量。
