用于分类生成建模的连续增强离散扩散模型
💡
原文英文，约200词，阅读约需1分钟。
📝
内容提要
标准离散扩散模型将未观察状态映射到吸收标记，导致信息丢失。我们提出了连续增强离散扩散（CADD）框架，通过在连续潜在空间中配对扩散，增强离散状态空间。CADD在每个反向步骤中利用连续潜在向量作为语义提示，提升生成质量，适用于文本生成、图像合成和代码建模。
🎯
关键要点
-
标准离散扩散模型将未观察状态映射到吸收标记，导致信息丢失。
-
提出了连续增强离散扩散（CADD）框架，通过在连续潜在空间中配对扩散，增强离散状态空间。
-
CADD生成逐渐腐蚀的状态，使用噪声但信息丰富的潜在向量表示被遮蔽的标记。
-
在每个反向步骤中，CADD利用连续潜在向量作为语义提示，指导离散去噪。
-
CADD设计简洁，与现有的离散扩散训练兼容。
-
在采样时，连续潜在向量的强度和选择使得在模式覆盖和模式寻求之间实现可控的权衡。
-
实证结果表明，CADD在文本生成、图像合成和代码建模中，生成质量优于基于遮蔽的扩散模型，且在定性和定量指标上均有一致提升。
❓
延伸问答
什么是连续增强离散扩散（CADD）框架？
CADD框架通过在连续潜在空间中配对扩散，增强离散状态空间，改善生成质量。
CADD如何解决标准离散扩散模型的信息丢失问题？
CADD使用噪声但信息丰富的潜在向量表示被遮蔽的标记，从而避免信息丢失。
CADD在生成质量上与传统模型相比有什么优势？
CADD在文本生成、图像合成和代码建模中，生成质量优于基于遮蔽的扩散模型。
CADD如何在采样时实现模式覆盖和模式寻求之间的权衡？
CADD通过选择连续潜在向量的强度和估计器，在模式覆盖和模式寻求之间实现可控的权衡。
CADD的设计与现有的离散扩散训练兼容吗？
是的，CADD的设计简洁，与现有的离散扩散训练兼容。
CADD在定性和定量指标上表现如何？
CADD在定性和定量指标上均有一致提升，表现优于强离散基线。
➡️
