用于分类生成建模的连续增强离散扩散模型
💡
原文英文，约200词，阅读约需1分钟。
📝
内容提要
标准离散扩散模型将未观察状态映射到吸收标记，导致信息丢失。我们提出了连续增强离散扩散（CADD）框架，通过在连续潜在空间中配对扩散，增强离散状态空间。CADD在每个反向步骤中利用连续潜在向量作为语义提示，提升生成质量，适用于文本生成、图像合成和代码建模。
🎯
关键要点
- 标准离散扩散模型将未观察状态映射到吸收标记，导致信息丢失。
- 提出了连续增强离散扩散（CADD）框架，通过在连续潜在空间中配对扩散，增强离散状态空间。
- CADD生成逐渐腐蚀的状态，使用噪声但信息丰富的潜在向量表示被遮蔽的标记。
- 在每个反向步骤中，CADD利用连续潜在向量作为语义提示，指导离散去噪。
- CADD设计简洁，与现有的离散扩散训练兼容。
- 在采样时，连续潜在向量的强度和选择使得在模式覆盖和模式寻求之间实现可控的权衡。
- 实证结果表明，CADD在文本生成、图像合成和代码建模中，生成质量优于基于遮蔽的扩散模型，且在定性和定量指标上均有一致提升。
➡️
