在线教程丨与 Sora 技术路线相似！全球首个开源文生视频 DiT 模型 Latte 一键部署
内容提要
自OpenAI推出Sora以来备受关注的文生视频概念及应用。DiT是一个文生图模型，将U-Net架构替换为Transformer架构。上海人工智能实验室开源了全球首个文生视频DiT：Latte，可自由部署。Latte通过预训练的变分自编码器将视频编码为特征，并利用Transformer结构进行编码和解码，生成连续、逼真的视频内容。Latte的研发团队与中央广播电视总台合作推出了中国原创文生视频动画。文生视频应用有望加速落地，推动影视行业的革命性发展。
延伸解读
DiT 的学术历程与 Sora 的关联
DiT 模型由 Peebles 和谢赛宁研发，其中 Peebles 也是 Sora 的项目领导者之一。该模型将扩散模型中的 U-Net 架构替换为 Transformer，但在 2023 年曾被 CVPR 拒稿，理由是缺乏创新点。这一背景揭示了前沿技术从被质疑到被广泛认可的过程，也说明了 Sora 的技术路线与 DiT 的紧密联系。
Latte 的开源意义与部署门槛
上海人工智能实验室在 2023 年底开源了全球首个文生视频 DiT 模型 Latte，支持自由部署。与 Sora 技术路线相似，但 Latte 的开源特性降低了探索门槛，使研究者和开发者能够直接实践文生视频技术。文章提供的部署教程基于 HyperAI 平台，操作简单，进一步推动了技术的普及。
文生视频的行业应用与潜在影响
Latte 的研发团队与中央广播电视总台合作推出了中国原创文生视频动画《千秋诗颂》，并在 CCTV-1 播出。业内人士分析，随着国内首部 AI 动画的开播，文生视频应用的落地有望加速，未来可能重塑影视行业的制作流程，推动影视动画制作、游戏开发和广告设计的革命性发展。
Q&A
Latte模型的主要功能是什么？
Latte模型是全球首个文生视频DiT，能够将文本生成连续、逼真的视频内容。
DiT模型与U-Net架构相比有什么优势？
DiT模型使用Transformer架构，具有更好的计算效率和生成效果，能够处理全局特征。
如何使用HyperAI平台生成文生视频？
用户可以登录HyperAI，选择Latte教程，克隆并配置算力后输入文本提示生成视频。
Latte模型的研发团队与哪些机构合作？
Latte的研发团队与中央广播电视总台合作推出了中国原创文生视频动画《千秋诗颂》。
文生视频技术的应用前景如何？
文生视频技术有望加速落地，推动影视行业的革命性发展，重新塑造制作流程。
Latte模型是如何编码视频的？
Latte通过预训练的变分自编码器将视频编码为特征，并利用Transformer结构进行处理。
