通过模拟一切视频生成将带我们走向通用人工智能,终有一天你可以在视频模型上运行 ChatGPT [译]

通过模拟一切视频生成将带我们走向通用人工智能,终有一天你可以在视频模型上运行 ChatGPT [译]

💡 原文中文,约10900字,阅读约需26分钟。
📝

内容提要

OpenAI团队开发的通用人工智能项目SOAR可以生成高清视频,具有多种复杂元素和特效。与艺术家合作使用SOAR的案例以及技术原理也被介绍。团队希望通过SOAR推动内容创作的民主化,让更多有创意的人实现他们的想法。文章还讨论了SOAR的局限性和未来发展的可能性。

🔎

延伸解读

从语言模型到视觉模型:统一范式

Sora 将视频和图像切割成时空小块,并训练 Transformer 模型,这与语言模型处理文本 token 的方式类似。这种统一范式使得模型能够利用大量原始格式的数据,并具备良好的扩展性。文章强调,随着计算量增加,模型性能持续提升,这符合《苦涩的教训》中的观点。

零样本视频编辑与风格转换

Sora 具备零样本学习能力,可以将一段视频转换为另一段视频,例如改变风格或主题,同时保留原视频的结构。模型甚至能理解语义,比如在中世纪主题中自动将汽车替换为马车。这种能力为创意表达提供了新的可能性,但文章也指出模型仍存在局限性。

通向 AGI 的世界模拟器

OpenAI 认为视频模型是通向通用人工智能的关键路径。Sora 通过生成逼真视频,隐式地学习物理规律、3D 几何和物体持久性,从而构建对世界的内部模型。随着规模扩大,模型可能涌现出更复杂的模拟能力,最终甚至能在视频模型上运行 ChatGPT。

当前局限与未来挑战

尽管 Sora 取得了显著进展,但在理解基本物理互动(如打碎玻璃杯)和物体持久性方面仍有不足。模型运行速度较慢,且对生成过程的控制有限。OpenAI 正与艺术家和红队合作,以改进模型并确保安全,但距离完美模拟现实世界还有很长的路。

❓

Q&A

SOAR项目的主要功能是什么?

SOAR项目可以生成高清视频,具有复杂元素和特效,能够理解三维空间的几何和物理复杂性。

SOAR如何推动内容创作的民主化?

SOAR与艺术家合作,允许更多有创意的人实现他们的想法,从而推动内容创作的民主化。

SOAR的技术原理是什么?

SOAR的技术原理基于语言模型,能够处理各种形式的视觉数据,并具备零样本学习能力。

SOAR在视频生成方面有哪些局限性?

SOAR在物体持久性和复杂场景模拟方面仍有局限性,无法完美处理所有物理互动。

SOAR如何实现视频的风格转换?

SOAR使用SD编辑技术,可以将一段视频转换为另一种风格,同时保持其结构。

未来SOAR的发展方向是什么?

未来SOAR将继续扩展,模拟更复杂的环境和人类互动,推动视频生成技术的进步。

🏷️

标签

➡️

继续阅读