解道jdon.com

解道jdon.com -

OpenAI Sora真的有自己的物理模型吗?

关于 OpenAI 的视频生成模型 Sora 是否具有 "物理引擎"(OAI 自己声称具有 "世界模拟 "功能),有很多猜测。就像关于 LLM 中世界模型的争论一样,这个问题既非常有趣,又有些定义不清。当然,Sora 在推理过程中向 UE5 等外部物理引擎调用函数的可能性很小。请注意,LLM 以前也有过这种情况,谷歌的一篇论文:其中模型通过模拟物理引擎来回答问题。但这并不是大多数人的猜测。相反,人们的想法是,Sora 在训练过程中会获得一个内部物理模型,并利用这个内部模型生成时间和空间上连贯的视频。什么是内部物理模型?这通常取决于如何解释。大概没有人认为Sora 是从模拟牛顿运动定律、能量守恒

关于OpenAI的视频生成模型Sora是否具有物理引擎功能存在争议。Sora是一个扩散模型,以ViT为骨干,可以解码场景几何、光照、阴影和深度等信息。然而,该模型无法捕捉到自然图像结构的某些方面,例如正确的投影几何。需要进行干预性研究,以解码和操纵模型中直观物理特性的内部表征。需要超越行为证据来解决这类争论,并更具体地说明'世界模拟'的含义。

OpenAI Sora ViT 扩散模型 物理引擎

相关推荐 去reddit讨论

热榜 Top10

观测云
观测云
eolink
eolink
LigaAI
LigaAI
Dify.AI
Dify.AI

推荐或自荐