探索 Sora：视频制作的魔法 [译]
内容提要
Sora是一种视频效果技术，使用扩散技术和Transformer架构生成视频帧。它通过处理时空补丁来描述特定的空间和时间。Sora使用知识图谱将补丁组合起来，扩散模型技术逐步精细化补丁，变换器技术分析画面之间的相互关系。然而，Sora目前无法精确模拟物理特性。
延伸解读
时空补丁：Sora 如何理解视频
Sora 并非直接生成视频，而是将视频视为由时空补丁组成的拼图。每个补丁同时包含空间信息（画面内容）和时间信息（发生时刻），类似于视频的微小碎片。通过分析提示词中的物体、行为、地点和风格，Sora 将这些元素转化为补丁，并利用知识图谱有序组合，从而构建出连贯的视频序列。这种基于补丁的方法让 Sora 能够处理复杂的时空关系。
扩散与 Transformer：技术协同
Sora 结合了扩散模型和 Transformer 架构。扩散模型从随机噪声出发，逐步精细化画面片段，直到呈现出清晰细节；Transformer 则分析不同画面之间的时间关系，确保视频风格一致、动作平滑。两者协同工作，使 Sora 能够生成高质量视频，但具体实现细节仍待进一步探索。
物理模拟的局限
尽管 Sora 能生成令人惊艳的视频，但它目前无法精确模拟基本物理互动。例如，人物挥手时手势不自然，被形容为“试图在三维空间里表现得像人类的超维度外星人”。这表明 Sora 对物理规律的理解仍有不足，未来需要更深入的研究来提升模拟的真实性。
Q&A
Sora 用了哪些核心技术来生成视频？
Sora 结合了扩散技术和 Transformer 架构。扩散技术从随机噪声出发逐步精细化至目标视频，Transformer 架构负责处理视频帧的连续序列。
Sora 是如何将文本提示转化为视频的？
Sora 不是直接将文本转换成视频帧，而是通过处理时空补丁来实现。它先分析提示词识别关键元素（物体、行为、地点、艺术风格），然后将场景转化为时空补丁，再组合并精细化这些补丁生成视频。
什么是时空补丁？Sora 为什么使用它们？
时空补丁是同时捕捉事件空间和时间信息的微小视频碎片，类似于将视频长方体切割成许多小块。Sora 使用它们来有条理地组合成完整视频，每个补丁代表特定的空间和时间段。
Sora 如何确保生成的视频风格一致且动作连贯？
Sora 使用 Transformer 技术分析不同画面之间随时间变化的相互关系，从而确保花朵平滑成长、阳光自然转换，并保持定格动画风格始终如一。
Sora 目前有哪些局限性？
Sora 目前还不能精确模拟许多基本互动的物理特性，例如女人挥手时手势不自然，被描述为“试图在三维空间里表现得像人类的超维度外星人”。
Sora 中的知识图谱起什么作用？
知识图谱用于将时空补丁有条理地组合起来，它包含物理世界的信息、物体间如何相互作用以及艺术风格等数据，帮助 Sora 理解花朵如何生长、与阳光互动并保持定格动画效果。
