视频∞：分布式长视频生成
内容提要
本文介绍了多种视频生成模型的进展，如NUWA-XL和Delphi，强调了通过扩散模型生成高质量长视频的能力。这些模型在训练效率和视频一致性方面有显著提升，能够处理复杂文本条件，生成时长可达25分钟的视频，并在自动驾驶等应用中表现出色。
延伸解读
长视频生成的两条技术路线
文章呈现了长视频生成的两类思路：NUWA-XL采用“粗略到精细”的递归扩散，先由全局模型生成关键帧，再由本地模型填充中间帧，可直接训练3376帧长视频；Gen-L-Video则利用现有短视频扩散模型，通过扩展生成和编辑能力处理数百帧，无需额外训练。两者分别侧重训练效率与免训练扩展，为不同计算预算的研究者提供了参考。
自动驾驶场景的专用优化
Delphi模型针对自动驾驶规划任务设计，通过跨多视角共享噪声建模和特征对齐模块，将生成视频长度提升至40帧，并保持时空一致性。文章指出，此前生成视频通常少于8帧且不一致，难以提升端到端规划性能。Delphi仅用4%训练数据，便将规划性能提升25%，表明长视频生成在数据稀缺的自动驾驶领域具有实际价值。
效率与时长之间的权衡
NUWA-XL在FlintstonesHD数据集上，将1024帧推理时间从7.55分钟降至26秒，同时保持全局与局部一致性；另一项工作则通过优化IO、CPU和GPU，在一天内用八个消费级GPU完成训练，计算量仅为先前同架构的八分之一。这些结果说明，长视频生成正从单纯追求时长转向兼顾训练与推理效率，但不同方法在帧数、一致性和计算成本上仍有明显取舍。
Q&A
NUWA-XL模型的生成过程是怎样的？
NUWA-XL模型采用'粗略到精细'的生成过程，首先使用全局扩散模型生成关键帧，然后通过本地扩散模型填充相邻帧的内容。
Delphi模型如何提高视频生成的一致性？
Delphi模型通过共享噪声建模机制和特征对齐模块来提高视频生成的一致性，能够生成最多40帧的视频。
Gen-L-Video方法的主要优势是什么？
Gen-L-Video方法能够生成和编辑数百帧的长视频，而无需额外训练，极大地拓宽了视频生成和编辑的能力。
这些视频生成模型在自动驾驶中有什么应用？
这些模型在自动驾驶中用于生成高质量的长视频，提升自动驾驶模型的规划性能。
如何在有限计算预算下生成高质量长视频？
通过采用轻量级视觉扩散模型和层级扩散概念，可以在有限计算预算下生成更真实、更长的视频。
去噪扩散概率模型在视频生成中有什么优势？
去噪扩散概率模型在多个数据集上实现了更好的视频建模，能够生成长达25分钟的时间连贯视频。
