Lumiere: 一个用于视频生成的时空扩散模型
内容提要
该文综述文本生成视频的扩散模型进展：MagicVideo用潜在扩散在单GPU生成256×256视频，速度提升64倍；Latent-Shift引入无参数时间移位模块；W.A.L.T采用因果编码器和窗口注意力，在多个基准达最优；LaVie结合预训练图像模型与时间自注意；Latte使用潜在扩散Transformer，在四个数据集领先。
延伸解读
技术演进：从潜在扩散到Transformer
文章梳理了文本生成视频模型的发展脉络。早期MagicVideo利用潜在扩散在单GPU生成256×256视频，速度比VDM快64倍；Latent-Shift引入无参数时间移位模块；W.A.L.T采用因果编码器和窗口注意力，在多个基准达最优；LaVie结合预训练图像模型与时间自注意；Latte则使用潜在扩散Transformer，在四个数据集领先。这些进展显示模型架构从U-Net向Transformer演变，并更注重效率与生成质量。
效率与质量的平衡策略
多个模型致力于在有限计算资源下提升视频生成质量。MagicVideo通过低维潜在空间在单GPU上生成256×256视频，速度提升64倍；Latent-Shift利用无参数时间移位模块，在微调下可生成图像；W.A.L.T使用窗口注意力架构提高记忆和训练效率，并能以8帧/秒生成512×896分辨率视频。这些设计反映了在计算预算约束下追求高保真视频生成的趋势。
评估基准与性能表现
文章提到多个模型在标准数据集上取得最优性能。W.A.L.T在UCF-101、Kinetics-600和ImageNet上达到最先进水平，且未使用分类器引导；Latte在FaceForensics、SkyTimelapse、UCF101和Taichi-HD四个数据集上表现最佳，并扩展至文本-视频生成任务。这些基准结果为比较不同模型提供了参考，但需注意各模型评估条件和任务设置的差异。
Q&A
MagicVideo 在视频生成速度和硬件要求上有什么优势？
MagicVideo 使用潜在扩散模型，在单个 GPU 上生成 256x256 分辨率的视频，速度比最近的视频扩散模型（VDM）快 64 倍。
Latent-Shift 方法的核心创新是什么？
Latent-Shift 利用 U-Net 扩散模型在潜空间中学习视频扩散模型，并引入无参数的时间移位模块来进行视频生成。
W.A.L.T 模型采用了哪些关键设计来实现逼真视频生成？
W.A.L.T 采用两个关键设计：一是使用因果编码器在统一潜在空间中联合压缩图像和视频，实现跨模态训练和生成；二是使用窗口注意力架构以提高记忆和训练效率。
LaVie 如何实现高质量的文本到视频生成？
LaVie 利用预训练的文本到图像模型作为基础，引入简单的时间自注意机制以及联合图像-视频微调过程，从而生成视觉逼真且时间连贯的视频，并保留预训练 T2I 模型的创造性。
Latte 在哪些数据集上取得了最先进的性能？
Latte 在四个标准视频生成数据集上取得了最先进的性能：FaceForensics、SkyTimelapse、UCF101 和 Taichi-HD。
除了上述模型，文章还提到了哪些视频生成或编辑的扩散模型？
文章还提到了基于视频扩散模型的图像和视频编辑方法（利用时序信息和高分辨率信息，联合微调模型），以及稳定的视频扩散（用于高分辨率的文本到视频和图像到视频生成的潜在视频扩散模型）。
