PipeFusion: 扩散变压器模型推理的位移块并行处理
内容提要
本文介绍了DistriFusion方法，通过并行处理和分布式计算提高扩散模型生成高分辨率图像的效率，速度提升可达6.1倍。同时，提出了基于Transformer的扩散模型和PatchFusion框架，改善深度估计技术，展示了在多个数据集上的高分辨率能力。
延伸解读
并行策略的演进脉络
文章梳理了从2018年PipeDream到2024年DistriFusion的并行技术发展。PipeDream通过管道并行减少通信，实现5倍训练加速；GPipe提供高效模型并行化，支持线性加速；PipeTransformer动态调整策略，提升2.4倍速度。这些工作为DistriFusion的异步通信和计算流水线奠定了基础，最终在扩散模型推理上实现6.1倍提升。
扩散模型架构的转变
文章指出，基于Transformer的扩散模型正逐步取代传统的U-Net骨干网络。DiT-XL/2在ImageNet 512x512和256x256基准测试中均优于先前模型，并在256x256上达到FID 2.27。这一架构变化提升了模型的可扩展性，也为后续并行推理方法提供了新的优化对象。
训练与推理的并行侧重
文章涵盖的并行技术可分为训练和推理两类。PipeDream、GPipe、PipeTransformer、PipeMare和GNNPipe主要针对训练阶段，通过管道并行、模型并行降低通信开销，加速训练过程。而DistriFusion和StreamDiffusion则聚焦推理阶段，分别提升高分辨率图像生成和交互式生成的效率。
高分辨率生成的挑战与应对
扩散模型生成高分辨率图像时面临计算资源和延迟的挑战。DistriFusion通过多GPU并行和异步通信，以较低质量损失实现高效生成。PatchFusion则针对深度估计任务，利用基于块状的框架改善高分辨率深度图能力。这些方法共同指向高分辨率视觉生成中的效率与质量平衡问题。
Q&A
DistriFusion方法的主要优势是什么？
DistriFusion方法通过并行处理和分布式计算，能够以较低的质量损失实现高效的图像生成，速度提升可达6.1倍。
基于Transformer的扩散模型有什么创新？
该模型将U-Net骨干网络替换为在潜在块上操作的Transformer，DiT-XL/2模型在ImageNet基准测试中表现优于以前的扩散模型。
PatchFusion框架的作用是什么？
PatchFusion框架通过三个关键组件改善深度估计技术，并在多个数据集上展示了高分辨率能力。
StreamDiffusion的应用场景是什么？
StreamDiffusion是一种实时扩散流水线，主要用于交互式图像生成。
GPipe如何提高模型并行化效率？
GPipe通过将不同子层序列放在不同的加速器上，实现高效的模型并行化，并能够快速线性加速。
PipeDream的主要功能是什么？
PipeDream使用管道并行计算模型来避免数据并行训练的慢速问题，并通过减少通讯提高GPU的生产效率。
