FORA：扩散变压器加速中的快速前向缓存
内容提要
本文介绍了DiTFastAttn，一种加速扩散变换器（DiT）推理的后训练压缩方法。通过消除空间、时间和条件冗余，DiTFastAttn在图像和视频生成任务中显著提高了效率，计算量减少高达88%，实现了1.6倍的加速。此外，Delta-DiT框架在生成过程中进一步优化了性能，展示了Transformer在扩散模型中的应用潜力。
延伸解读
DiT推理的三大冗余与对应技术
文章指出DiT推理中注意力计算存在空间、时间和条件三种冗余。空间冗余表现为许多注意力头关注局部信息；时间冗余表现为相邻步骤的注意力输出高度相似；条件冗余表现为条件与无条件推理结果显著相似。针对这些冗余，作者分别提出带残留缓存的窗口注意力、时间相似性减少和条件冗余消除三种技术，从而在保持生成质量的同时降低计算量。
DiTFastAttn的加速效果与适用任务
DiTFastAttn被应用于DiT、PixArt-Sigma进行图像生成，以及OpenSora进行视频生成。评估显示，在图像生成中，高分辨率生成可减少高达88%的FLOPs，实现最高1.6倍的加速。这表明该方法能有效缓解DiT自注意力二次复杂度带来的计算瓶颈，且适用于图像和视频生成任务。
Delta-DiT：基于块相关性的缓存加速
Delta-DiT通过分析DiT块与图像生成的相关性发现：前部块与图像轮廓相关，后部块与细节相关。基于此，它设计缓存机制，在早期采样阶段加速后部块，在后期阶段加速前部块。在PIXART-alpha和DiT-XL上，20步生成可实现1.6倍加速，且大多数情况下性能提升。在4步一致模型生成中，即使加速比降至1.12倍，该方法仍显著优于现有方法。
Q&A
DiTFastAttn 是什么？
DiTFastAttn 是一种后训练压缩方法，旨在减轻扩散变换器（DiT）的计算瓶颈。
DiTFastAttn 如何提高计算效率？
通过消除空间、时间和条件冗余，DiTFastAttn 在图像生成任务中实现了高达 88% 的 FLOPs 减少和 1.6 倍的加速。
Delta-DiT 框架的作用是什么？
Delta-DiT 框架通过设计的缓存机制进一步优化生成过程的性能，提升了生成速度和质量。
DiTFastAttn 在图像生成中的表现如何？
在图像生成任务中，DiTFastAttn 显著减少了计算量，并实现了高达 1.6 倍的加速。
DiT 模型在 ImageNet 基准测试中的表现如何？
DiT 模型在 ImageNet 基准测试中表现优于以前的扩散模型，展示了 Transformer 在扩散模型中的应用潜力。
DiTFastAttn 解决了哪些冗余问题？
DiTFastAttn 解决了空间冗余、时间冗余和条件冗余三个关键问题。
