DistriFusion：高分辨率扩散模型的分布式并行推理
内容提要
该文综述扩散模型高效生成技术，涵盖Patch Diffusion的块级条件训练、Patch-DM的特征拼贴高分辨率合成、DeepCache与FRDiff的时间冗余推理加速、SyncDiffusion的全景图同步多重扩散、潜在空间扩散与DiT的计算需求降低，以及移动端优化实现2秒内文生图。
延伸解读
训练效率与数据效率的改进
Patch Diffusion 通过引入 Patch 级条件分数函数，将 Patch 位置作为附加坐标通道，并在多个尺度上随机多样化 Patch 大小，显著减少了训练时间成本，同时提高了数据效率。这一改进有助于更广泛的用户学习和应用扩散模型，降低了训练门槛。
高分辨率生成中的无缝拼接策略
Patch-DM 针对高分辨率图像生成中的边界伪影问题，设计了特征拼贴策略。通过裁剪并组合相邻图像块的部分特征来预测移位图像块的特征，在特征空间的重叠区域实现无缝生成。该方法在多个数据集上取得了最先进的 FID 分数，并降低了内存复杂度。
推理加速与移动端部署
DeepCache 和 FRDiff 利用扩散模型去噪步骤中的时间冗余，无需训练即可加速推理。DeepCache 在 Stable Diffusion v1.5 上实现 2.3 倍加速，在 LDM-4-G 上实现 4.1 倍加速，且 CLIP Score 和 FID 无显著下降。移动端优化则使文本到图像扩散模型能在 2 秒内运行，无需高端 GPU 或云端推理。
架构创新与计算需求降低
潜在空间扩散和 DiT 架构通过不同途径降低计算需求。潜在空间扩散在预训练自编码器的潜在空间中应用扩散模型，并引入交叉注意力层，以更少计算达到接近最优性能。DiT 用 Transformer 替换 U-Net 骨干，在 ImageNet 256x256 上实现先进 FID（2.27），展示了可扩展性。
Q&A
Patch Diffusion 是什么？它如何减少扩散模型的训练成本？
Patch Diffusion 是一种通用的 Patch-wise 训练框架，其核心创新是新的条件分数函数，在原始图像的 Patch 级别包括 Patch 位置作为附加坐标通道，并通过训练在多个尺度上对 Patch 大小进行随机和多样化，从而显著减少训练时间成本，同时提高数据效率。
Patch-DM 如何实现高分辨率图像生成并避免边界伪影？
Patch-DM 是一种在小型图像块（如 64x64）上训练的去噪扩散模型，用于生成高分辨率图像（如 1024x512）。它设计了一种新的特征拼贴策略，通过系统地裁剪并组合相邻图像块的部分特征来预测移位图像块的特征，从而在图像块特征空间中的重叠区域实现无缝生成，避免边界伪影。
DeepCache 和 FRDiff 是如何加速扩散模型推理的？
DeepCache 是一种无需训练的范式，利用去噪步骤中的时间冗余来加速扩散模型，在 Stable Diffusion v1.5 上实现 2.3 倍加速，在 LDM-4-G 上实现 4.1 倍加速，且 CLIP Score 或 FID 没有显著下降。FRDiff 通过利用扩散模型中固有的时间冗余，重复使用具有高时间相似性的特征图，在各种生成任务中实现了保真度和延迟折衷之间的 Pareto 前沿。
SyncDiffusion 如何生成更协调的全景图？
SyncDiffusion 使用感知相似性损失从梯度下降同步多重扩散，用于生成更加协调的全景图。
潜在空间扩散和 DiT 如何降低高分辨率图像合成的计算需求？
通过在预训练的自编码器的潜在空间中应用扩散模型，并引入交叉注意力层到模型体系结构中，可以以更少的计算要求取得接近最优的性能，实现高分辨率合成，缩小像素级 DMs 对计算资源的需求。DiT 是基于 Transformer 的扩散模型，将常用的 U-Net 骨干网络替换为在潜在块上操作的 Transformer，通过 Gflops 度量前向传递复杂度分析可伸缩性，高 Gflops 的 DiT-XL/2 模型在 ImageNet 512x512 和 256x256 基准测试中均优于以前的扩散模型，在 256x256 上实现了先进的 FID (2.27)。
如何在移动设备上实现快速文本到图像生成？
通过引入高效网络架构和步骤蒸馏等技术，提出了一种通用的方法，首次实现在移动设备上以不到 2 秒的速度运行文本到图像扩散模型。该模型可以使用户自己创作图像，而不需要高端 GPU 或云端推理，这将在内容创作方面具有重要作用。此外，还介绍了一种优化了的基础模型，通过在移动设备上实施优化，使大规模扩散模型的推理延迟得到了显著缩短，从而提高了生成性 AI 的适用性并改善了用户体验。
