2D Triplane 和 3D 小波表示的混合视频扩散模型
内容提要
该文综述扩散模型在视频生成中的进展：PVDM在低维潜空间建模，可高效合成任意长度视频；W.A.L.T结合因果编码器与窗口注意力，在视频和图像基准上达到最优；VideoFusion通过分解噪声提升生成质量；MagicVideo实现高效文本到视频生成；HiGen解耦时空因素；GD-VDM分两阶段生成深度视频。
延伸解读
低维潜空间：效率与长度的关键
PVDM 将视频投影为二维潜变量，在低维空间学习分布，从而高效训练并合成任意长度视频，在 FVD 指标上取得最高得分。这提示读者，降低表示维度可能是平衡生成质量与计算成本的有效途径，尤其适合长视频生成场景。
统一潜空间与窗口注意力的设计权衡
W.A.L.T 使用因果编码器在统一潜空间中联合压缩图像和视频，并采用窗口注意力架构提升记忆和训练效率。这种设计使其在 UCF-101、Kinetics-600 和 ImageNet 上达到最先进性能，且无需分类器引导，说明跨模态联合建模与高效注意力机制的结合具有潜力。
噪声分解与两阶段生成的不同思路
VideoFusion 通过分解噪声并联合学习两个网络来匹配分解，提升生成质量，且可受益于预训练图像扩散模型。GD-VDM 则分两阶段生成深度视频和扩散 Vid2Vid 模型，以产生更复杂多样的场景。两者展示了从噪声建模和阶段分解入手改进视频扩散的不同方向。
高效文本到视频生成的实践参考
MagicVideo 基于潜在扩散模型，在单个 GPU 上生成 256x256 视频片段，速度可达 VDM 的 64 倍，且文本相关性高。W.A.L.T 也通过串联模型以 8 帧/秒生成 512x896 视频。这些案例表明，潜空间扩散和模型串联是提升文本到视频生成效率与分辨率的可行策略。
Q&A
PVDM是什么？它有什么特点？
PVDM是投影潜空间扩散模型，在低维潜空间中学习视频分布，通过自编码器将视频投影为二维形状的潜变量，使用专用扩散模型架构，能高效训练和合成任意长度视频，在FVD指标上得分最高。
W.A.L.T模型如何实现逼真视频生成？
W.A.L.T基于转换器，采用两个关键设计：使用因果编码器在统一潜在空间中联合压缩图像和视频，实现跨模态训练和生成；使用窗口注意力架构提高记忆和训练效率。在UCF-101、Kinetics-600和ImageNet上达到最先进性能，无需分类器引导。
VideoFusion方法是如何提高视频生成质量的？
VideoFusion通过分解噪声来处理视频数据，采用两个联合学习的网络来匹配噪声分解，提高了视频生成质量，并且分解噪声公式可以受益于预训练的图像扩散模型和文本条件下的视频生成。
MagicVideo在文本到视频生成方面有什么优势？
MagicVideo利用基于潜在扩散模型的高效文本生成视频框架，生成与文本内容高度相关的逼真视频片段，使用低维潜在空间在单个GPU卡上生成256x256分辨率的视频，速度是最近视频扩散模型（VDM）的64倍。
HiGen如何解耦视频的空间和时间因素？
HiGen基于扩散模型，从结构层面和内容层面解耦视频的空间和时间因素，实现了在生成视频时具备语义准确性和运动稳定性。
GD-VDM生成深度视频的两阶段过程是什么？
GD-VDM分两阶段生成深度视频：首先通过扩散模型生成深度视频，然后使用扩散Vid2Vid模型进行转换，能够生成更加多样化、复杂的场景。
