Google发布Genie硬杠Sora：通过大量无监督视频训练最终生成可交互虚拟世界

谷歌推出了基于互联网视频训练的生成式交互环境模型Genie。Genie能够学习细粒度的控制，生成动态交互环境。它由潜在动作模型、视频分词器和动态模型组成。Genie的架构采用了内存高效的ST-transformer，能够在长时间交互视频生成中更加高效。Genie的三个关键组件分别是潜在动作模型、视频分词器和动态模型。谷歌的研究科学家石宇歌是论文的共同一作。