实时视频生成的金字塔注意力广播
内容提要
本文介绍了NUWA-XL视频生成模型，采用“粗略到精细”的生成过程，显著提高了长视频生成的效率和质量。在FlintstonesHD数据集上，该模型通过全局和局部扩散模型实现了94.26%的性能提升，并大幅缩短了推理时间。此外，文章还探讨了视频生成技术的进展与挑战，提出了新的评估基准和未来研究方向。
延伸解读
效率提升的关键：粗略到精细生成
NUWA-XL采用“粗略到精细”过程，先由全局扩散模型生成关键帧，再由局部扩散模型递归填充中间帧。这种设计允许直接训练长视频（3376帧），并支持并行生成所有片段，从而降低训练与推理的差距。在FlintstonesHD数据集上，它将1024帧的推理时间从7.55分钟缩短到26秒，同时保持全局和局部一致性。
长视频生成的技术路线对比
文章综述了长视频生成的两类主要方法：分治时序自回归。NUWA-XL属于分治策略，通过全局与局部模型分工；而StreamingT2V则采用文本到视频扩散模型并引入条件注意模块，实现一致且高运动量的长视频。此外，Video-Infinity利用分布式推理管道跨GPU并行，在8个Nvidia 6000 Ada GPU上以每分钟约5分钟生成2300帧，速度提升100倍。
扩散模型的计算瓶颈与优化
Diffusion Transformers（DiT）因自注意力二次复杂度面临计算挑战。DiTFastAttn通过识别空间、时间和条件冗余，采用窗口注意力、时间相似性减少和条件冗余消除技术，在图像生成中减少高达88%的FLOPs，实现1.6倍加速。类似地，Matten模型结合Mamba-Attention架构，以最小计算成本建模局部和全局视频内容，展现出良好的可扩展性。
交互控制与评估基准的进展
Peekaboo方法通过扩展性-自适应控制增强扩散型视频生成模型的输出，是一种训练免费、无推理开销的模块，可实现时空控制，并提出了交互式视频生成任务的评估基准。在mIoU指标上，它超过基准模型高达3.8倍。这些进展表明，视频生成正从单纯追求质量向增强用户交互和可控性方向发展。
Q&A
NUWA-XL模型的生成过程是怎样的？
NUWA-XL模型采用“粗略到精细”的生成过程，首先使用全局扩散模型生成关键帧，然后通过本地扩散模型填充附近帧之间的内容。
NUWA-XL在FlintstonesHD数据集上的表现如何？
在FlintstonesHD数据集上，NUWA-XL实现了94.26%的性能提升，并将1024帧的推理时间从7.55分钟降低到26秒。
什么是DiTFastAttn，它解决了什么问题？
DiTFastAttn是一种后训练压缩方法，旨在减轻Diffusion Transformers的计算瓶颈，主要通过减少空间、时间和条件冗余来提高生成效率。
Video-Infinity的主要功能是什么？
Video-Infinity是一个分布式推理管道，能够跨多个GPU并行处理，实现长视频的快速生成，速度比以前的方法快100倍。
文章中提到的扩展性-自适应控制是什么？
扩展性-自适应控制是一种增强扩散型视频生成模型输出的方法，能够实现时空控制，并与现有模型结合使用。
长视频生成领域面临哪些挑战？
长视频生成领域面临的挑战包括生成模型的复杂性、用户交互控制的缺乏以及生成视频的能力不足。
