量子位
·
每秒生成超30帧视频，支持实时交互！自回归视频生成新框架刷新生成效率
内容提要
微软研究院与北大联合推出的Next-Frame Diffusion (NFD)框架，实现每秒超过30帧的高质量自回归视频生成。通过帧内并行采样和帧间自回归，NFD显著提升生成效率，支持实时交互，未来可能改变游戏体验。
关键要点
-
微软研究院与北大联合推出Next-Frame Diffusion (NFD)框架，支持每秒超过30帧的高质量自回归视频生成。
-
NFD通过帧内并行采样和帧间自回归显著提升生成效率，支持实时交互。
-
NFD在NVIDIA A100 GPU上生成视频的速度为每帧约0.48秒，生成质量保持高水平。
-
NFD采用帧内双向注意力和帧间因果注意力机制，利用扩散模型多步迭代生成连续Token。
-
研究人员通过一致性蒸馏和投机采样技术进一步提高生成效率，减少推理时的总采样次数。
-
NFD的架构包含Tokenizer和基于扩散的Transformer模型，支持高效建模时空依赖性。
-
NFD在生成效率和视觉质量上优于现有自回归模型，310M模型在FVD和PSNR指标上表现出色。
-
NFD+版本通过高效采样策略显著加速，保持竞争力的视觉质量。
-
团队认为视频生成模型在各个领域发展迅速，未来将实现更灵活、高效的生成范式。
延伸解读
实时交互的潜力
NFD框架的实时交互能力可能会彻底改变游戏体验。玩家可以直接与生成的视频内容互动，而不再依赖传统的游戏引擎。这种新方式将使得游戏设计更加灵活，开发者能够创造出更具沉浸感的虚拟世界。
技术优势与挑战
NFD通过帧内并行采样和帧间自回归显著提升了生成效率，但实时生成仍面临挑战。尽管采用了投机采样和一致性蒸馏等技术，生成过程中的延迟和计算复杂性仍需进一步优化，以确保在各种应用场景中的稳定性和响应速度。
与现有模型的比较
NFD在生成效率和视觉质量上优于现有自回归模型，如MineWorld。其在FVD和PSNR指标上的表现显示出更高的生成质量，同时运行速度也大幅提升。这表明NFD在视频生成领域具有较强的竞争力，可能成为未来发展的重要基石。
延伸问答
Next-Frame Diffusion (NFD)框架的主要功能是什么？
NFD框架实现每秒超过30帧的高质量自回归视频生成，支持实时交互。
NFD如何提高视频生成的效率？
NFD通过帧内并行采样和帧间自回归显著提升生成效率，采用双向注意力和因果注意力机制。
NFD在生成视频时的速度和质量如何？
在NVIDIA A100 GPU上，NFD生成视频的速度约为每帧0.48秒，且生成质量保持高水平。
NFD与现有自回归模型相比有什么优势？
NFD在生成效率和视觉质量上优于现有自回归模型，310M模型在FVD和PSNR指标上表现出色。
NFD的架构包含哪些关键组件？
NFD的架构包含Tokenizer和基于扩散的Transformer模型，支持高效建模时空依赖性。
未来NFD可能对游戏体验产生什么影响？
NFD可能改变游戏体验，使玩家能够直接与模型交互，而无需传统游戏引擎。
