OpenAI安全系统负责人：从头构建视频生成扩散模型
内容提要
扩散模型在图像合成领域取得显著成效，现在研究界开始尝试将其用于视频生成。文章介绍了几种视频生成模型的架构和方法，包括3D U-Net、DiT、Make-A-Video、Tune-A-Video、ControlVideo等。这些模型通过扩展预训练的图像生成器或从头开始设计和训练模型来实现视频生成。
延伸解读
视频扩散模型的两条技术路线
文章梳理了视频生成扩散模型的两类主要方法：一是从头设计和训练，如VDM、Imagen Video、Sora等，不依赖预训练图像生成器；二是扩展预训练图像模型，如Make-A-Video、Tune-A-Video、Video LDM等，通过插入时间层并微调来适应视频任务。前者需要大量视频数据，后者能利用图像先验，降低对文本-视频配对数据的需求。
时间一致性是核心挑战
视频生成要求帧间保持时间一致性，这比单张图像生成更难。文章指出，模型需要嵌入更多世界知识，并处理高质量视频数据稀缺的问题。为此，研究者提出了多种机制：3D U-Net分解空间和时间维度、跨帧注意力、交错帧平滑器、重建引导等，以减少闪烁并保持长视频的连贯性。
数据质量与模型架构的权衡
稳定视频扩散（SVD）强调数据集精选对性能的关键作用，通过剪切检测、字幕生成和筛选低质量片段来提升模型质量。而Lumiere采用空时U-Net架构，一次生成整个视频，消除了对时间超分辨率组件的依赖。这些案例表明，除了架构创新，数据策略同样重要，高质量的小数据集可能优于大规模但未筛选的数据。
Q&A
扩散模型在视频生成中的应用有哪些？
扩散模型在视频生成中应用了多种架构和方法，如3D U-Net、Make-A-Video、Tune-A-Video等，旨在提高视频生成的质量和一致性。
视频生成相比于图像生成有哪些挑战？
视频生成要求在时间轴上保持帧之间的一致性，难度大于单一图像生成，且需要更多的世界知识和高质量视频数据。
什么是Make-A-Video模型，它是如何工作的？
Make-A-Video模型通过扩展预训练的图像模型，增加时空卷积和帧插值网络，实现视频生成，能够生成高帧率视频。
如何提高视频生成的时间一致性？
可以通过使用运动动态和跨帧注意力机制来增强视频生成的时间一致性，确保帧之间的连贯性。
什么是ControlVideo模型，它的创新点是什么？
ControlVideo模型通过增加跨帧注意力和交错帧平滑器来减少闪烁效果，保持长视频的时间一致性，是一种基于文本提示生成视频的模型。
Lumiere模型的架构有什么特别之处？
Lumiere模型采用空时U-Net架构，通过一次传递生成整个视频，消除了对时间超分辨率组件的依赖，提升了生成效率。
