揭秘最强视频生成模型 Sora，OpenAI 是怎么实现 1 分钟一镜到底的？
内容提要
OpenAI发布了视频生成工具Sora，能根据文本描述生成长达60秒的连贯视频。Sora使用视觉块嵌入代码进行训练，能处理多样化的视频和图像数据，模拟复杂场景和物理效应。Sora被视为实现AGI的重要里程碑，AI视频生成领域将迎来巨浪，独立创作者将迎来黄金时代。
延伸解读
技术原理：视觉块嵌入如何工作
Sora 的核心技术是视觉块嵌入（patches），将视频压缩到低维潜在空间并分解为时空嵌入，再通过解码器还原。这种方法类似将杂乱积木整理到小盒子，便于高效处理。它使 Sora 能适应不同分辨率、时长和宽高比的视频，并在压缩空间内训练生成，从而提升多样数据的处理能力。
能力边界：Sora 的局限与不足
OpenAI 坦承 Sora 存在局限，例如无法模拟复杂场景的物理效应，难以理解特定因果关系，甚至无法精确模拟玻璃破碎等基本物理互动。此外，在反向跑步等场景中也可能出错。这些不足表明 Sora 并非完美世界模拟器，其涌现能力仍受数据驱动限制，读者需理性看待其实际应用范围。
行业影响：独立创作者的机遇与挑战
Sora 的推出可能改变 AI 视频生成领域格局，现有平台如 Runway、Pika 等或受波及。同时，创作门槛降低，独立创作者可凭借创意快速生成视频，迎来黄金时代。但这也意味着竞争加剧，创作者需适应新技术并探索独特创意，以在变革中保持优势。
未来方向：世界模型与 AGI 之路
OpenAI 将 Sora 视为实现 AGI 的重要里程碑，认为其是能理解和模拟现实世界模型的基础。Sora 展现出三维空间连贯性、物体持久性等涌现能力，可模拟数字世界。英伟达科学家 Jim Fan 指出 Sora 是基于数据的物理模拟引擎。世界模型概念并非新事，Runway 等公司也已布局，但 Sora 的入局可能加速这一方向的发展。
Q&A
Sora 是什么？它有什么主要功能？
Sora 是 OpenAI 发布的 AI 视频生成工具，能够根据文本描述生成长达 60 秒的连贯视频，视频中包含细腻复杂的场景、生动的角色表情以及复杂的镜头运动。它还能接受图片或已有视频作为输入，完成多种视频编辑任务。
Sora 在视频生成方面有哪些优势？
Sora 在视频的真实性、长度、稳定性、一致性、分辨率以及对文本的理解方面均展现出目前最佳的水平。它能够生成长达 60 秒的连贯视频，并丝滑实现多镜头的无缝切换，且镜头切换的连贯性和对象的一致性效果都遥遥领先。
Sora 是如何实现视频生成的？
Sora 受到 LLM 成功实践经验的启发，引入了视觉块嵌入代码（patches）。OpenAI 首先将视频数据压缩至一个低维潜在空间，然后分解为时空嵌入，将视频转化为一系列编码块。接着训练一个网络降低视觉数据维度，并训练解码器模型将潜在表征还原为像素级视频图像。Sora 在压缩后的潜在空间中进行训练并生成视频。
Sora 支持哪些输入方式？可以完成哪些编辑任务？
Sora 可以接受文本、图片或已有视频作为输入。这项功能让 Sora 能够完成各种图片和视频编辑任务，比如制作无缝循环视频、给静态图片添加动画效果、延长视频的播放时间等。
Sora 目前存在哪些局限性？
OpenAI 坦率承认 Sora 当前存在局限问题，比如它无法模拟复杂场景的物理效应，以及理解某些特定因果关系。举例来说，它无法精确模拟像玻璃破碎这样的基本物理互动。
Sora 被视为实现 AGI 的重要里程碑，为什么？
OpenAI 将 Sora 视为「能够理解和模拟现实世界的模型的基础」，相信其能力「将是实现 AGI 的重要里程碑」。Sora 展示出了一系列引人注目的涌现能力，能够在一定程度上模拟真实世界中的人、动物和环境，这些能力并非基于对三维空间或物体的特定预设，而是由大规模数据驱动产生的。
Sora 的出现对 AI 视频生成领域和独立创作者有什么影响？
随着 OpenAI Sora 的加入，AI 视频生成领域将掀起滔天巨浪，现有的主流平台如 Runway、Pika 和 Stable Video Diffusion 等都可能会受到波及。同时，独立创作者的游戏规则将会彻底改变，任何人只要有创意和想法，就可以使用 Sora 来生成自己的视频内容。创作门槛的降低，也意味着独立创作者将会迎来黄金时代。
