量子位
·
单GPU搞定高清长视频生成，效率×10！引入Mamba机制突破DiT瓶颈 | 普林斯顿&Meta
内容提要
普林斯顿大学与Meta合作推出LinGen框架，通过MATE模块将视频生成复杂度降低至线性，显著提升生成效率。LinGen在视频质量上优于DiT，生成速度最高可加速15倍，且适应性强，能处理更长的token序列。
关键要点
-
普林斯顿大学与Meta联合推出LinGen框架，降低视频生成复杂度至线性。
-
LinGen在视频质量上优于DiT，生成速度最高可加速15倍。
-
LinGen使用MATE模块替代传统自注意力模块，提升生成效率。
-
Mamba2模块处理超长token序列，对硬件友好。
-
LinGen引入Rotary Major Scan（RMS）优化扫描方式，减少信息丢失。
-
TEmporal Swin Attention（TESA）用于处理临近信息，保持线性复杂度。
-
LinGen在视频生成质量上与先进模型相当，远超OpenSora v1.2。
-
LinGen在生成视频时实现了显著的延迟加速，速度远快于DiT。
-
LinGen在适应性上优于DiT，能够更快处理更长的token序列。
-
LinGen在预训练过程中保持对DiT的优势，尤其在资源有限的情况下。
延伸解读
LinGen的技术优势
LinGen框架通过引入MATE模块，将视频生成的复杂度降低至线性，显著提升了生成效率。这一技术突破使得单GPU能够在分钟级别生成高质量视频，适应性强，尤其在处理长token序列时表现优异。
与DiT的比较
LinGen在视频质量和生成速度上均优于DiT，最高可实现15倍的加速。实验表明，LinGen在生成视频时的延迟显著低于DiT，尤其在资源有限的情况下，LinGen仍能保持对DiT的优势。
Mamba机制的应用
Mamba2模块在LinGen中发挥了关键作用，能够高效处理超长token序列，并兼容多种硬件加速。尽管Mamba在视觉任务上存在一定局限性，但LinGen通过创新的Rotary Major Scan和TEmporal Swin Attention有效缓解了信息丢失问题。
延伸问答
LinGen框架的主要创新是什么？
LinGen框架通过MATE模块将视频生成复杂度降低至线性，显著提升生成效率。
LinGen在视频生成质量上与哪些模型进行比较？
LinGen在视频质量上与DiT、Gen-3、Luma Labs和Kling等先进模型进行比较，表现优异。
LinGen如何提高视频生成的速度？
LinGen通过引入MATE模块和Rotary Major Scan优化，最高可实现15倍的生成速度提升。
Mamba2模块在LinGen中有什么作用？
Mamba2模块处理超长token序列，对硬件友好，提升了生成效率。
LinGen在处理长视频时的优势是什么？
LinGen能够更快处理更长的token序列，适应性优于DiT，减少信息丢失。
LinGen的预训练过程是怎样的？
LinGen从低分辨率视频生成开始，逐步增加视频分辨率和长度，处理的token数增长显著。
