实时视频生成的金字塔注意力广播

BriefGPT - AI 论文速递 · 2024-08-22T00:00:00Z

Diffusion Transformers（DiT）在图像和视频生成方面表现出色，但由于自注意力的二次复杂度而面临计算挑战。研究者提出了DiTFastAttn，一种后训练压缩方法，用于减轻DiT的计算瓶颈。通过减少空间冗余、利用时间相似性和消除条件冗余，DiTFastAttn在图像生成任务中实现了高达1.6倍的加速。