高分辨率视频生成的分层补丁扩散模型
内容提要
本文介绍了金字塔扩散模型（PDM）及其在超高分辨率图像合成中的应用，结合空间通道注意力等技术，首次成功生成2K分辨率图像。提出的自级联扩散模型能快速适应高分辨率图像生成，训练速度提高5倍，且仅需少量调优参数。同时介绍了Matryoshka扩散模型（MDM）和Patch-DM等新方法，展示了在高分辨率图像和视频生成中的有效性和优势。
延伸解读
高分辨率生成的技术路线分化
文章梳理了多种高分辨率扩散模型，它们从不同角度解决计算与质量难题。PDM用金字塔潜在表示直接合成2K图像；自级联扩散模型复用低分辨率知识，微调成本极低；MDM通过嵌套UNet和渐进训练实现端到端多分辨率生成；Patch-DM在图像块上训练以避免边界伪影；PVDM在低维潜空间建模视频；DistriFusion则用分布式并行加速。这些方法表明，高分辨率生成没有单一最优解，而是根据任务需求在训练效率、内存占用和生成质量之间权衡。
训练效率与参数成本的显著优化
自级联扩散模型仅需额外0.002M调优参数，训练速度比完全微调提高5倍，且10k步微调即可适应更高分辨率。Patch-DM在64x64图像块上训练，却生成1024x512图像，降低了内存复杂度。Patch Diffusion通过随机多尺度块训练减少时间成本并提升数据效率。这些数据说明，高分辨率生成不一定需要从头训练大模型，利用低分辨率预训练知识并设计轻量适配模块，可以大幅降低算力门槛，让更多研究者参与。
视频生成与压缩的扩散模型应用
PVDM将视频投影为二维潜变量，在低维空间学习分布，能高效合成任意长度视频，并在FVD指标上取得最高得分。VideoFusion通过分解噪声并联合学习两个网络，提升视频质量，且能受益于预训练图像扩散模型。此外，扩散模型还被用于极端视频压缩，在低比特率（0.02 bpp）下实现视觉满意重建，效果优于H.264和H.265。这些工作显示，扩散模型不仅能生成视频，还能在压缩等任务中发挥预测能力，拓展了应用边界。
分布式计算与无需训练的超高分辨率生成
DistriFusion利用并行处理和分布式计算，通过异步通信与计算流水线，在多个GPU上实现高达6.1倍的速度提升，且质量损失较低。另一项工作通过重新扩张卷积感知域、引入分散卷积和抑噪无监督引导，无需任何训练或优化即可生成超高分辨率图像，并解决物体重复和不合理结构问题。这提示低分辨率训练模型可直接用于高分辨率生成，为未来研究提供了新思路，同时也表明推理阶段的优化和分布式策略是应对高分辨率计算挑战的重要方向。
Q&A
金字塔扩散模型（PDM）如何实现超高分辨率图像合成？
金字塔扩散模型（PDM）通过金字塔潜在表示结合空间通道注意力和其他技术，首次成功生成2K分辨率图像。
自级联扩散模型的优势是什么？
自级联扩散模型能够快速适应高分辨率图像生成，训练速度提高5倍，仅需少量调优参数。
Matryoshka扩散模型（MDM）是如何优化高分辨率生成的？
MDM通过联合去噪和渐进式训练实现高分辨率生成的显著优化，使用嵌套UNet架构。
Patch-DM模型的特征拼贴策略有什么好处？
Patch-DM通过特征拼贴策略生成高质量图像，减少内存复杂度并避免合成大尺寸图像时的边界伪影。
投影潜空间扩散模型（PVDM）如何合成视频？
PVDM在低维潜空间中学习视频分布，能够高效合成任意长度的视频。
DistriFusion方法如何提高高分辨率图像生成的效率？
DistriFusion通过并行处理和分布式计算，提高高分辨率图像生成的效率，速度提升可达6.1倍。
