Sora 和之前 Runway 那些在架构上有啥区别呢？
内容提要
Sora是一个扩散变压器模型，结合了Runway和Stable Diffusion的特点。它使用基于补丁的方法处理噪声输入图像并生成更清晰的版本。与GPT-4不同，GPT-4预测文本序列中的下一个标记，而Sora预测图像序列中的下一个补丁。这种创新的方法使得OpenAI能够在大量图像和视频数据上训练Sora，而无需裁剪或调整大小。扩散变压器架构和基于补丁的训练的结合产生了令人印象深刻的输出质量。由于在具有物理规则的视频上进行训练，Sora甚至可以模拟液体动力学。Sora项目受到了两篇关于可扩展扩散模型和视觉变换器的Google论文的启发。
延伸解读
架构差异：从扩散模型到扩散变压器
Runway和Stable Diffusion基于传统扩散模型，通过逐步加噪和去噪生成图像。而Sora采用扩散变压器，结合了Transformer的编码器-解码器架构，能更高效地处理含噪输入并预测清晰版本。这种融合让Sora在生成质量和扩展性上更具优势。
Patch机制：处理任意尺寸视频的关键
Sora预测图像序列中的下一个“Patch”，而非文本中的Token。Patch类似于从视频中切出的时空色块，使模型能处理任意大小和分辨率的视频，无需裁剪或调整大小。这避免了预处理导致的构图丢失，从而利用更多数据训练，提升输出质量。
物理模拟能力源于数据驱动
Sora能模拟液体动力学等物理现象，并非连接了游戏引擎，而是因为训练数据包含大量带有物理规则的视频。类似GPT-4通过代码数据学会生成代码，Sora从视频中学习到物理规律，展现出生成式模型的涌现能力。
灵感来源：Google的两篇论文
Sora项目受到Google两篇论文的启发：《Scalable Diffusion Models with Transformers》和《Patch n' Pack: NaViT, a Vision Transformer for any Aspect Ratio and Resolution》。这两篇论文分别探讨了扩散变压器和任意尺寸视觉变换器，为Sora的架构奠定了基础，且Sora项目似乎在这些论文发表后启动。
Q&A
Sora 和 Runway 在架构上有什么主要区别？
Runway 基于扩散模型（Diffusion Model），而 Sora 基于 Diffusion Transformer，融合了扩散模型和 Transformer 架构。
Sora 中的 Patch 是什么？
Patch 是 Sora 处理图像序列的基本单位，类似于文本中的 Token。它通过从视频帧中提取相同形状的区域并堆叠而成，使模型能够处理任意大小的视频或图片。
Sora 为什么能模拟液体动力学？
因为 Sora 在训练时使用了大量包含物理规则的视频数据，从而能够模拟出液体动力学等复杂物理现象。
Sora 的训练数据预处理有什么优势？
Sora 基于 Patch 而非全帧进行训练，可以处理任何大小的视频或图片，无需裁剪或调整大小，因此能利用更多数据，输出质量更高且不受输入构图不良的影响。
Sora 项目受到了哪些论文的启发？
Sora 项目受到了两篇 Google 论文的启发：《Scalable Diffusion Models with Transformers》和《Patch n' Pack: NaViT, a Vision Transformer for any Aspect Ratio and Resolution》。
Sora 和 GPT-4 在预测方式上有什么不同？
GPT-4 预测文本序列中的下一个 Token，而 Sora 预测图像序列中的下一个 Patch。
