视频生成Sora的从零复现：从Latte、Open-Sora(含1.0及其升级版)到StreamingT2V
内容提要
上海人工智能实验室推出了类sora开源系统Latte，将DiT和U-ViT架构应用于视频生成领域。Latte使用潜在扩散模型进行扩散和去噪过程，通过预训练的变分自动编码器将视频帧压缩到潜在空间中，并在潜在空间中进行扩散过程。Latte的主干网络有四种变体，分别是空间和时间交替进行、先空间再时间、空间和时间统一、空间和时间分开。Latte的输出是预测的噪声和协方差。Open-Sora 1.0是基于STDiT架构的类Sora模型，使用PixArt-α作为基座，并引入时间注意力层。Open-Sora的训练复现方案包括三个阶段：大规模图像预训练、大规模视频预训练和微调。数据预处理脚本可降低复现门槛。
延伸解读
Latte的四种时空建模变体
Latte设计了四种Transformer主干变体来处理视频的时空信息：变体1交替进行空间和时间Transformer；变体2先空间后时间；变体3在单个Transformer块内先空间自注意力再时间自注意力；变体4将多头注意力拆分为空间和时间两部分。这些变体从不同角度分解时空维度，旨在高效捕获视频中的空间和时间依赖，为视频生成提供灵活架构选择。
Open-Sora的三阶段训练策略
Open-Sora 1.0采用类似Stable Video Diffusion的三阶段训练：首先基于SD微调后的图像VAE进行大规模图像预训练，以降低视频预训练成本；然后基于PixArt-α和T5进行大规模视频预训练，学习时序关系；最后在高质量视频数据上微调，提升生成质量。每个阶段基于前一阶段权重继续训练，逐步扩展数据，高效达成高质量视频生成。
复现成本与数据预处理
Open-Sora的复现方案使用64块H800训练，第二阶段约2808 GPU小时（约7000美元），第三阶段约1920 GPU小时（约4500美元），总成本控制在1万美元左右。团队还提供了视频数据预处理脚本，包括数据集下载、长视频分割和LLaVA生成提示词，两卡3秒可标注一个视频，质量接近GPT-4V，显著降低了复现门槛。
Q&A
Latte系统的主要功能是什么？
Latte系统主要用于视频生成，应用了DiT和U-ViT架构，通过潜在扩散模型进行扩散和去噪过程。
Open-Sora 1.0与Latte有什么不同之处？
Open-Sora 1.0基于STDiT架构，增加了时间注意力层，而Latte则专注于潜在扩散模型的应用。
Latte的主干网络有哪几种变体？
Latte的主干网络有四种变体，分别是空间和时间交替、先空间再时间、空间和时间统一、空间和时间分开。
Open-Sora的训练复现方案包括哪些阶段？
Open-Sora的训练复现方案包括三个阶段：大规模图像预训练、大规模视频预训练和微调。
Latte如何处理视频帧的压缩？
Latte通过预训练的变分自动编码器将视频帧压缩到潜在空间中。
数据预处理脚本的作用是什么？
数据预处理脚本可以降低复现门槛，提供便捷的视频数据处理工具，包括视频数据集下载和视频片段分割。
