炸裂的文字生成视频sora 背后的技术逻辑
内容提要
OpenAI的文生视频利用transformer架构生成高保真视频，具有控制视频大小和执行图像和视频编辑任务的能力。模型展现了模拟物理世界的能力。虽然目前仅对个别人开放，但未来全民开放只是时间问题。
延伸解读
技术核心：从语言模型到视觉补丁
Sora借鉴了大型语言模型（LLM）的成功经验，将文本Token的概念扩展到视觉领域，使用“视觉补丁”作为统一表示。通过将视频压缩到低维潜在空间并分解为时空补丁，Sora能够像LLM处理文本一样处理视频和图像。这种基于补丁的表示具有高度可扩展性，使得模型能够训练不同分辨率、持续时间和宽高比的视频，为生成高保真视频奠定了基础。
原生宽高比训练的优势
传统视频生成方法通常将视频裁剪或缩放到标准尺寸，但Sora采用原生宽高比训练，带来了显著的改进。文章指出，这种方法改善了视频的构图和框架，避免了主体部分出现在视野外的问题。同时，Sora能够直接生成不同设备所需的宽高比视频，如1920x1080p或1080x1920，并支持在低分辨率下快速原型设计，再以全分辨率生成，提高了灵活性和效率。
模拟能力的涌现与局限
随着模型规模扩大，Sora展现出模拟物理世界的涌现能力，包括3D一致性、长期连贯性和对象持久性，甚至能模拟数字世界如《我的世界》游戏。然而，文章也指出Sora的局限性，例如无法准确模拟玻璃破碎等基本物理交互，或食物被吃后状态变化不正确。这些能力与局限表明，视频模型的持续扩展是开发高性能模拟器的一条有希望的道路，但仍有待进一步改进。
Q&A
Sora 生成视频的基本原理是什么？
Sora 是一个扩散 Transformer 模型，在可变持续时间、分辨率和宽高比的视频和图像上联合训练文本条件扩散模型。它利用 Transformer 架构，在视频和图像潜在代码的时空补丁上运行，通过预测原始干净补丁来生成视频。
Sora 如何处理不同宽高比的视频？
Sora 以原生宽高比训练视频，可以采样宽屏 1920x1080p、垂直 1080x1920 以及介于两者之间的视频。这允许直接为不同设备创建内容，并改善构图和框架。
Sora 在模拟物理世界方面有哪些能力？
Sora 展现出 3D 一致性、长期连贯性和对象持久性，能模拟与世界互动（如画家留下笔触、吃汉堡留下咬痕），还能模拟数字世界（如控制《我的世界》玩家）。
Sora 目前有哪些局限性？
Sora 没有准确模拟许多基本相互作用的物理学，比如玻璃破碎；吃食物不总能产生物体状态的正确变化；在长时间样本中可能出现不一致或物体自发出现。
Sora 可以执行哪些图像和视频编辑任务？
Sora 可以执行广泛的编辑任务，包括创建完美循环视频、动画静态图像、在时间上向前或向后扩展视频、视频到视频编辑（改变风格和环境）、连接视频（插值过渡）等。
Sora 如何提高文本保真度和视频质量？
通过训练高度描述性的字幕模型，为训练集中的所有视频制作文本字幕，并利用 GPT 将简短用户提示转换为更长的详细字幕，从而提高文本保真度和视频整体质量。
