视频生成模型：构建虚拟世界的模拟器 [译]
内容提要
该文章介绍了一种基于文本条件的扩散模型，用于生成不同特征的视频和图像。模型采用了Transformer架构，并通过压缩视频数据和提取时空补片进行训练。研究结果显示，该模型是实现模拟物理世界的通用工具的有前途的一步。文章还介绍了Sora模型的能力和局限性，并探讨了视频模型的发展前景。
延伸解读
视觉补片：统一表示的关键
文章将视觉补片类比为大语言模型中的token，作为处理多样化视觉数据的统一表示。通过将视频压缩到低维潜在空间并分解为时空补片，模型能够适应不同分辨率、时长和宽高比的视频与图像。这种表示方法不仅提升了模型处理多样化数据的能力，还使得同一模型可以生成各种尺寸的内容，为大规模训练奠定了基础。
原生宽高比训练的优势
传统视频生成方法通常将视频裁剪或调整到标准尺寸，如正方形。而Sora直接在视频的原生宽高比上进行训练，实验表明这能显著提升视频的构图与布局质量。模型生成的视频能更好地捕捉完整场景，避免主题被部分裁剪的问题。此外，灵活的采样能力允许模型生成从宽屏到竖屏的各种尺寸视频，适应不同设备的原生显示需求。
语言理解与重新标注技术
为了从文本生成高质量视频，Sora采用了类似DALL·E 3的重新标注技术：先训练一个生成详细描述的模型，再用它为训练集中的视频创建文字说明。使用描述性强的说明进行训练，不仅提高了文本准确度，还显著提升了视频的整体质量。此外，通过GPT将用户简短提示转化为详尽说明，Sora能更精准地根据指令生成高品质视频。
当前局限与未来方向
尽管Sora展现出模拟物理世界的潜力，但它仍存在明显局限。例如，无法精确模拟玻璃破碎等基本物理互动，吃东西等行为也不总能正确反映物体状态改变。长时间视频中可能出现不一致性或物体突然出现。这些局限表明，视频生成模型作为模拟器仍处于早期阶段，但继续扩展模型规模被认为是开发更精准模拟器的有前景的途径。
Q&A
Sora模型采用了什么架构和技术来生成视频？
Sora是一种基于文本条件的扩散模型，采用Transformer架构，通过将视频压缩到低维潜在空间并分解为时空补片进行训练，能够生成不同时长、分辨率和宽高比的视频和图像。
Sora能生成多长的视频？支持哪些分辨率和宽高比？
Sora能生成长达一分钟的高质量视频，支持多种分辨率如1920x1080p、1080x1920等，以及各种宽高比，适应不同设备的需求。
Sora在模拟物理世界方面有哪些能力和局限？
Sora能模拟三维空间连贯性、物体持久性、简单互动和数字世界（如Minecraft），但无法精确模拟基本物理互动如玻璃破碎，且存在不一致性和物体突然出现等局限。
Sora如何实现视频的编辑和延伸？
Sora可以接受图片或视频作为输入，完成无缝循环、动画化静态图片、延长视频、改变风格和环境等编辑任务，还能平滑连接两个视频。
Sora在训练中如何处理不同宽高比的视频？
Sora直接在视频的原生宽高比上进行训练，而不是裁剪成正方形，这显著提升了视频的构图与布局质量，能更好地捕捉完整场景。
Sora如何利用语言理解来提升视频生成质量？
Sora使用重新标注技术为视频生成详细描述，并利用GPT将用户简短提示转化为详尽说明，从而提高文字准确度和视频整体质量。
