量子位
·
每秒生成超30帧视频，支持实时交互！自回归视频生成新框架刷新生成效率
💡
原文中文，约2400字，阅读约需6分钟。
📝
内容提要
微软研究院与北大联合推出的Next-Frame Diffusion (NFD)框架，实现每秒超过30帧的高质量自回归视频生成。通过帧内并行采样和帧间自回归，NFD显著提升生成效率，支持实时交互，未来可能改变游戏体验。
🎯
关键要点
- 微软研究院与北大联合推出Next-Frame Diffusion (NFD)框架，支持每秒超过30帧的高质量自回归视频生成。
- NFD通过帧内并行采样和帧间自回归显著提升生成效率，支持实时交互。
- NFD在NVIDIA A100 GPU上生成视频的速度为每帧约0.48秒，生成质量保持高水平。
- NFD采用帧内双向注意力和帧间因果注意力机制，利用扩散模型多步迭代生成连续Token。
- 研究人员通过一致性蒸馏和投机采样技术进一步提高生成效率，减少推理时的总采样次数。
- NFD的架构包含Tokenizer和基于扩散的Transformer模型，支持高效建模时空依赖性。
- NFD在生成效率和视觉质量上优于现有自回归模型，310M模型在FVD和PSNR指标上表现出色。
- NFD+版本通过高效采样策略显著加速，保持竞争力的视觉质量。
- 团队认为视频生成模型在各个领域发展迅速，未来将实现更灵活、高效的生成范式。
❓
延伸问答
Next-Frame Diffusion (NFD)框架的主要功能是什么？
NFD框架实现每秒超过30帧的高质量自回归视频生成，支持实时交互。
NFD如何提高视频生成的效率？
NFD通过帧内并行采样和帧间自回归显著提升生成效率，采用双向注意力和因果注意力机制。
NFD在生成视频时的速度和质量如何？
在NVIDIA A100 GPU上，NFD生成视频的速度约为每帧0.48秒，且生成质量保持高水平。
NFD与现有自回归模型相比有什么优势？
NFD在生成效率和视觉质量上优于现有自回归模型，310M模型在FVD和PSNR指标上表现出色。
NFD的架构包含哪些关键组件？
NFD的架构包含Tokenizer和基于扩散的Transformer模型，支持高效建模时空依赖性。
未来NFD可能对游戏体验产生什么影响？
NFD可能改变游戏体验，使玩家能够直接与模型交互，而无需传统游戏引擎。
➡️
