上海人工智能实验室推出了类sora开源系统Latte，将DiT和U-ViT架构应用于视频生成领域。Latte使用潜在扩散模型进行扩散和去噪过程，通过预训练的变分自动编码器将视频帧压缩到潜在空间中，并在潜在空间中进行扩散过程。Latte的主干网络有四种变体，分别是空间和时间交替进行、先空间再时间、空间和时间统一、空间和时间分开。Latte的输出是预测的噪声和协方差。Open-Sora 1.0是基于STDiT架构的类Sora模型，使用PixArt-α作为基座，并引入时间注意力层。Open-Sora的训练复现方案包括三个阶段：大规模图像预训练、大规模视频预训练和微调。数据预处理脚本可降低复现门槛。