生成、重建和表示离散与连续数据：具有可学习的编码解码的广义扩散
内容提要
该文综述扩散模型在多领域的应用：在语言生成中辅助预训练模型，在DNA序列合成中提出DiscDiff及新指标FReD，在图像生成中结合VQ-VAE，并涉及信道编码、表示学习和网络参数生成，均优于基线。
延伸解读
扩散模型在离散数据生成中的通用框架
文章展示了扩散模型处理离散数据（如语言、DNA、音乐）的通用思路：通过自编码器将离散序列映射到连续潜在空间，再应用扩散模型生成，最后解码回离散形式。这种“连续化”策略使扩散模型能利用其强大的生成能力，同时避免直接建模离散分布的困难。多个案例（如DiscDiff、符号音乐生成）验证了该框架的有效性，为跨领域离散数据生成提供了可复用的范式。
DNA序列生成的新模型与评估指标
针对DNA序列合成，文章提出DiscDiff模型，将离散DNA序列嵌入连续潜在空间，利用扩散模型生成，并引入新指标FReD（Frechet Reconstruction Distance）衡量生成样本质量。实验表明，DiscDiff生成的序列在Motif分布、潜在嵌入分布和染色质剖面方面与真实序列高度吻合。此外，文章贡献了涵盖15个物种的15万个启动子-基因序列数据集，为基因组学生成建模提供了宝贵资源。
扩散模型在图像生成与表示学习中的进展
在图像领域，文章介绍了DiVAE模型，结合VQ-VAE与扩散解码器，能生成高度逼真的图像，尤其适用于条件合成任务。在表示学习方面，通过扩展去噪得分匹配框架实现无监督学习，学习无限维潜在码，在半监督图像分类上取得最优结果。这些工作表明扩散模型不仅能生成高质量样本，还能学习到有利于下游任务的表示，拓展了其应用边界。
扩散模型在通信与网络参数生成中的创新应用
文章探索了扩散模型在信道编码和网络参数生成中的新应用。在信道编码中，扩散模型能准确学习信道分布，实现接近最优的端到端符号误码率，并在高信噪比区域表现出稳健的泛化能力。在网络参数生成中，通过混合自动编码器和潜在扩散模型，从随机噪声中合成潜在参数表示，生成可用的新网络参数子集，稳定提升性能。这些跨领域尝试显示了扩散模型的广泛适用性。
Q&A
扩散模型在语言生成中是如何应用的？
该研究将扩散模型作为基于预训练语言模型的生成算法的辅助方法，通过在预训练编码器-解码器模型的潜在空间中学习连续的潜在扩散模型，有效生成文本，并优于自回归基线，还支持可控生成。
DiscDiff模型是什么？它在DNA序列合成中有什么作用？
DiscDiff是一种新颖的潜在扩散模型，通过将离散DNA序列嵌入连续潜在空间，利用自编码器结合连续扩散模型生成离散数据。它能生成与真实DNA序列在Motif分布、潜在嵌入分布和染色质剖面方面紧密相符的合成DNA序列。
FReD指标是什么？它用于衡量什么？
FReD（Frechet Reconstruction Distance）是一种新的度量标准，用于衡量DNA序列生成结果的样本质量。
扩散模型在信道编码中有什么应用？
通过扩散模型对信道进行近似处理，提出了一个高效的基于扩散模型的端到端信道编码框架。模拟结果表明，扩散模型能准确学习信道分布，实现接近最优的端到端符号误码率，并在高信噪比区域具有稳健的泛化能力。
DiVAE图像生成模型是什么？它有什么特点？
DiVAE是一种使用VQ-VAE和扩散解码器的图像生成模型。实验结果表明，该模型能够生成高度逼真的图像，特别适用于条件综合任务。
扩散模型如何用于表示学习？
提出了一种基于扩散的表示学习方法，通过扩展去噪得分匹配框架实现无监督学习。使用此方法学习无限维潜在码，实现了半监督图像分类的最优结果，并通过下游任务的表现比较与其他方法的学习表示质量。
扩散模型如何生成神经网络参数？
通过混合使用自动编码器和标准潜在扩散模型，从训练网络参数的随机噪声中合成潜在参数表示，并生成具有可用性的新的网络参数子集，从而稳定地提升性能。
