量子位
·
单GPU搞定高清长视频生成，效率×10！引入Mamba机制突破DiT瓶颈 | 普林斯顿&Meta
💡
原文中文，约2700字，阅读约需7分钟。
📝
内容提要
普林斯顿大学与Meta合作推出LinGen框架，通过MATE模块将视频生成复杂度降低至线性，显著提升生成效率。LinGen在视频质量上优于DiT，生成速度最高可加速15倍，且适应性强，能处理更长的token序列。
🎯
关键要点
- 普林斯顿大学与Meta联合推出LinGen框架，降低视频生成复杂度至线性。
- LinGen在视频质量上优于DiT，生成速度最高可加速15倍。
- LinGen使用MATE模块替代传统自注意力模块，提升生成效率。
- Mamba2模块处理超长token序列，对硬件友好。
- LinGen引入Rotary Major Scan（RMS）优化扫描方式，减少信息丢失。
- TEmporal Swin Attention（TESA）用于处理临近信息，保持线性复杂度。
- LinGen在视频生成质量上与先进模型相当，远超OpenSora v1.2。
- LinGen在生成视频时实现了显著的延迟加速，速度远快于DiT。
- LinGen在适应性上优于DiT，能够更快处理更长的token序列。
- LinGen在预训练过程中保持对DiT的优势，尤其在资源有限的情况下。
❓
延伸问答
LinGen框架的主要创新是什么？
LinGen框架通过MATE模块将视频生成复杂度降低至线性，显著提升生成效率。
LinGen在视频生成质量上与哪些模型进行比较？
LinGen在视频质量上与DiT、Gen-3、Luma Labs和Kling等先进模型进行比较，表现优异。
LinGen如何提高视频生成的速度？
LinGen通过引入MATE模块和Rotary Major Scan优化，最高可实现15倍的生成速度提升。
Mamba2模块在LinGen中有什么作用？
Mamba2模块处理超长token序列，对硬件友好，提升了生成效率。
LinGen在处理长视频时的优势是什么？
LinGen能够更快处理更长的token序列，适应性优于DiT，减少信息丢失。
LinGen的预训练过程是怎样的？
LinGen从低分辨率视频生成开始，逐步增加视频分辨率和长度，处理的token数增长显著。
➡️
