实时互动网
·
视频生成推理加速实践：基于全局时间索引的序列并行 3D 位置编码优化
内容提要
本文探讨了哔哩哔哩在视频生成模型优化方面的实践，重点介绍了分块自回归模型的计算与通信优化。通过引入因果注意力和KV缓存机制，Self-Forcing模型实现了更高效的视频生成，降低了延迟，并支持长视频生成和实时推理。
关键要点
-
本文探讨了哔哩哔哩在视频生成模型优化方面的实践。
-
重点介绍了分块自回归模型的计算与通信优化。
-
Self-Forcing模型通过因果注意力和KV缓存机制实现高效视频生成。
-
Wan2.1是基于扩散Transformer架构的大规模视频生成基础模型。
-
Wan2.1采用全时空并行建模思路，保证时序一致性。
-
全帧并行生成方式在长视频和实时推理场景中存在瓶颈。
-
Self-Forcing模型通过因果生成重构视频扩散推理。
-
Self-Forcing引入因果注意力约束，避免未来信息影响当前帧生成。
-
逐块生成策略支持任意长度视频生成，降低显存需求。
-
Self-Forcing在生成质量上与Wan2.1持平，首帧延迟降低到亚秒级。
-
推理优化工作中引入序列并行支持，解决长视频推理瓶颈。
-
RoPE计算逻辑优化，提升了整体推理性能。
-
通过预计算逻辑优化RoPE缓存，进一步提升计算性能。
延伸解读
因果生成的优势
Self-Forcing模型通过引入因果注意力约束，确保当前帧生成时只依赖历史信息，避免了未来帧对当前帧的影响。这种设计不仅提高了生成的实时性，还降低了首帧延迟，使得视频生成更适合实时交互和在线生成的应用场景。
长视频生成的挑战
尽管Self-Forcing模型在生成质量上与Wan2.1相当，但在长视频生成中仍面临显存和计算复杂度的挑战。随着视频长度的增加，模型的显存需求呈指数增长，这限制了其在长视频推理中的应用。因此，优化显存使用和计算效率仍是未来研究的重点。
序列并行的必要性
在长视频推理场景中，序列并行（SP）技术的引入显得尤为重要。通过将序列维度均匀切分到多个并行计算单元，Self-Forcing模型能够有效扩展其能力，减少显存压力，从而支持更长视频的生成。这一技术进步为大规模视频生成提供了新的可能性。
延伸问答
Self-Forcing模型如何优化视频生成的效率？
Self-Forcing模型通过引入因果注意力和KV缓存机制，避免未来信息影响当前帧生成，从而实现更高效的视频生成。
Wan2.1模型的主要特点是什么？
Wan2.1是基于扩散Transformer架构的大规模视频生成基础模型，采用全时空并行建模思路，保证时序一致性。
Self-Forcing模型与Wan2.1模型在生成质量上有什么区别？
Self-Forcing在生成质量上与Wan2.1基本持平，VBench指标甚至略有提升，同时首帧延迟降低到亚秒级。
全帧并行生成方式在长视频生成中存在哪些问题？
全帧并行生成方式在长视频生成中会遇到显存和计算复杂度快速膨胀的问题，导致生成困难。
如何解决长视频推理中的显存瓶颈？
通过引入序列并行支持，算法团队在Self-Forcing因果注意力的基础上，均匀切分序列到多个并行rank上，从而解决显存瓶颈。
RoPE计算逻辑的优化对推理性能有什么影响？
RoPE计算逻辑的优化提升了整体推理性能，使得在一次典型的5秒480P视频推理中，整体耗时降低约47.5%。
