通过多分辨率扩散模型减轻图像生成中的失真
内容提要
本文研究了视觉Transformer在扩散生成学习中的应用，提出了Diffusion Vision Transformers（DiffiT）模型，显著提升了高保真度图像生成的性能，尤其在高分辨率图像合成和图像修复方面表现优异。
延伸解读
从U-Net到Transformer：扩散模型骨干的演进
文章指出，将扩散模型常用的U-Net骨干替换为在潜在块上操作的Transformer（如DiT），能提升生成性能。DiT-XL/2在ImageNet 256x256上取得了FID 2.27的先进结果，表明Transformer架构在扩散生成学习中具有潜力。这一转变也为后续研究提供了新方向。
高分辨率生成的频率域挑战与中继扩散
文章从离散余弦变换角度解释，高分辨率下相同噪声水平会导致更高信噪比，这是生成的主要挑战。为此提出的中继扩散模型（RDM）通过模糊扩散和块噪声，将低分辨率图像或噪声转换为等效高分辨率图像，使扩散过程能在新分辨率下无缝继续，无需从纯噪声重启。
图像修复中的超参数调优与Refusion模型
针对逼真图像修复，文章强调调节网络架构、噪声水平、降噪步骤、训练图像大小及优化器/调度器等超参数，可在失真和感知得分上取得更好性能。基于U-Net的潜在扩散模型Refusion采用更稳定的压缩策略，不依赖对抗性优化就能恢复高度准确的图像，并能处理大尺寸图像任务。
高效高分辨率合成的替代路径
文章提到，结合Mamba和扩散模型的DiM方法，通过“weak-to-strong”训练策略和无需微调的上采样策略，提高了训练和推理效率。此外，通过重新扩张卷积感知域和引入分散卷积等方法，无需训练即可实现超高分辨率图像生成，并提示低分辨率训练模型可直接用于高分辨率生成，为未来研究提供了新思路。
Q&A
DiffiT模型的主要优势是什么？
DiffiT模型在多个条件和无条件综合任务中生成高保真度图片，显著提升了扩散生成学习的性能。
如何通过调节超参数提高图像修复性能？
调节网络架构、噪声水平、降噪步骤、训练图像大小和优化器等超参数，可以在失真和感知得分上实现更好的性能。
中继扩散模型（RDM）有什么作用？
RDM能够将低分辨率图像转换为高分辨率图像，并在多个基准测试中表现优异，支持扩散过程在新分辨率下无缝进行。
如何实现超高分辨率图像生成？
通过重新扩张限制性卷积感知域和引入分散卷积等方法，无需训练或优化即可实现超高分辨率图像生成。
DiffiT模型与传统U-Net模型相比有什么不同？
DiffiT模型将U-Net骨干网络替换为Transformer，提升了扩散模型的性能，尤其在高分辨率图像合成中表现更佳。
DiM方法如何提高图像合成效率？
DiM结合了Mamba和扩散模型，使用“weak-to-strong”训练策略和无需微调的上采样策略，提高了训练和推理效率。
