OpenAI安全系统负责人：从头构建视频生成扩散模型
💡
原文中文，约10000字，阅读约需24分钟。
📝
内容提要
扩散模型在图像合成领域取得显著成效，现在研究界开始尝试将其用于视频生成。文章介绍了几种视频生成模型的架构和方法，包括3D U-Net、DiT、Make-A-Video、Tune-A-Video、ControlVideo等。这些模型通过扩展预训练的图像生成器或从头开始设计和训练模型来实现视频生成。
🎯
关键要点
-
扩散模型在图像合成领域取得显著成效，研究界开始尝试将其用于视频生成。
-
视频生成任务要求在时间轴上保持帧之间的一致性，难度大于单一图像生成。
-
从零开始设计和训练扩散视频模型的方法不依赖于预训练的图像生成器。
-
视频扩散模型（VDM）采用3D U-Net架构，处理空间和时间维度。
-
Imagen Video通过级联多个扩散模型提升视频生成质量，输出高分辨率视频。
-
Make-A-Video通过扩展预训练的图像模型实现视频生成，包含时空卷积和帧插值网络。
-
Tune-A-Video用于视频的对象编辑和背景更改，融合了时空注意力模块。
-
Gen-1模型旨在根据文本输入编辑视频，分解视频的结构和内容。
-
Video LDM通过微调时间层生成视频，保持空间层冻结状态。
-
稳定视频扩散（SVD）强调数据集的选择对模型性能的重要性。
-
Lumiere采用空时U-Net架构生成视频，消除对时间超分辨率组件的依赖。
-
Text2Video-Zero通过运动动态和跨帧注意力机制增强视频生成的时间一致性。
-
ControlVideo增加了跨帧注意力和交错帧平滑器以减少闪烁效果，保持长视频的时间一致性。
➡️
