视频生成模型作为世界模拟器
内容提要
OpenAI发布视频生成模型Sora技术报告。Sora是文本条件扩散Transformer，在时空图像块上训练，可生成最长一分钟高清视频，支持多种分辨率、时长和宽高比。采用统一视觉块表示，结合重述技术提升文本遵循度。Sora展现3D一致性、长程连贯、物体持久性及模拟数字世界等涌现能力，但物理模拟仍有局限。
延伸解读
统一视觉块表示：Sora 的技术基础
Sora 将视频和图像统一处理为时空视觉块，通过压缩网络将原始视觉数据降维到潜在空间，再分解为块序列作为 Transformer 的标记。这种表示方式使模型能够直接训练和生成不同分辨率、时长和宽高比的视频，无需裁剪或缩放，从而提升构图和取景质量。
重述技术：提升文本遵循度的关键
Sora 采用类似 DALL·E 3 的重述技术，先训练一个描述性强的字幕模型为训练视频生成详细文本描述，再利用 GPT 将用户简短提示扩展为详细字幕。这种方法显著提高了生成视频对文本提示的遵循度，并改善了整体视频质量。
涌现能力：从 3D 一致性到数字世界模拟
随着规模扩大，Sora 展现出多种涌现能力，如 3D 一致性、长程连贯性、物体持久性，以及模拟数字世界（如 Minecraft）和简单交互（如绘画、进食）。这些能力并非通过显式归纳偏置实现，而是规模带来的现象，表明视频生成模型有潜力成为通用物理世界模拟器。
当前局限：物理模拟仍不完善
尽管 Sora 展现出令人印象深刻的模拟能力，但它仍存在明显局限。例如，它无法准确模拟玻璃破碎等基本物理交互，进食等动作也不总能正确改变物体状态。此外，长视频中可能出现不连贯或物体 spontaneous 出现等失败模式。这些局限说明 Sora 作为世界模拟器仍有待改进。
Q&A
Sora是什么？它有什么特别之处？
Sora是OpenAI开发的一种文本条件扩散Transformer模型，能够生成最长一分钟的高清视频，支持多种分辨率、时长和宽高比。它采用统一的视觉块表示，结合重述技术提升文本遵循度，并展现出3D一致性、长程连贯、物体持久性及模拟数字世界等涌现能力。
Sora是如何处理不同分辨率和宽高比的视频的？
Sora通过将视频压缩到低维潜在空间，然后分解为时空块（patches）进行训练。这种基于块的表示使Sora能够在可变分辨率、时长和宽高比的视频和图像上训练。在推理时，可以通过排列随机初始化的块到适当大小的网格来控制生成视频的大小。
Sora在模拟物理世界方面有哪些能力？
Sora展现出3D一致性、长程连贯和物体持久性等涌现能力，能够模拟人物、动物和环境的一些方面。例如，它可以生成具有动态相机运动的视频，保持人物和场景元素在三维空间中的一致性；能够持久化被遮挡或离开画面的物体；还能模拟简单的交互，如画家在画布上留下笔触、人吃汉堡留下咬痕。此外，Sora还能模拟数字世界，如控制Minecraft中的玩家并渲染游戏世界。
Sora目前有哪些局限性？
Sora目前作为模拟器存在诸多局限，例如无法准确模拟许多基本物理交互（如玻璃破碎），某些交互（如吃食物）不能总是产生正确的物体状态变化。此外，还存在长视频中的不连贯、物体自发出现等常见失败模式。
Sora除了文本生成视频外，还能完成哪些任务？
Sora还可以接受图像或视频作为输入，执行多种图像和视频编辑任务，如创建完美循环视频、动画化静态图像、向前或向后扩展视频、零样本转换视频风格和环境、在两个视频之间插值创建无缝过渡，以及生成可变大小的图像（最高2048x2048分辨率）。
Sora是如何提高文本遵循度的？
Sora采用了重述（re-captioning）技术：首先训练一个高度描述性的字幕模型，然后用它为训练集中的所有视频生成文本字幕。训练中使用这些高度描述性的视频字幕可以提高文本保真度和视频整体质量。此外，还利用GPT将简短的用户提示转化为更长的详细字幕，再发送给视频模型，从而使Sora能够生成准确遵循用户提示的高质量视频。
