谷歌 Deepmind 发布首个生成式交互环境模型 Genie [译]
内容提要
Google DeepMind的开放创新团队推出了Genie，这是一个从互联网视频中学习的创新世界模型，能够根据图像提示创造出无限种可操作的2D世界。Genie具有广泛的通用性，不仅局限于二维空间。
延伸解读
Genie与Sora：动作控制 vs 视觉生成
文章指出，OpenAI的Sora视觉效果令人赞叹，但Yann LeCun强调世界模型必须要有“动作”。Genie不仅是一个能够控制动作的世界模型，而且完全通过视频学习，不依赖任何监督。这凸显了Genie在交互性上的独特定位，与Sora侧重视频生成形成对比。
世界模型的定义与Genie的实现
文章引用了Yann LeCun对世界模型的定义：通过编码器、预测器和潜在变量来预测未来状态。Genie的开发遵循了这一框架，并针对视频数据特点，设计了时间感知的视频分词器、潜在行动模型和MaskGIT动力学模型，从而实现了从视频中无监督学习可控制动作。
规模与数据：性能提升的关键
Genie使用了超过20万小时的2D平台游戏视频，训练了110亿参数的世界模型。文章强调，通过训练分类器筛选高质量视频子集，并进行规模实验，模型性能随着参数数量和批次大小的增加而稳定提升。这表明数据和计算能力是推动模型性能的关键因素。
超越2D：向通用世界模型迈进
尽管Genie主要针对2D平台游戏，但其模型具有广泛通用性。文章提到，在机器人数据集RT-1上训练Genie，即使没有具体动作数据，也能学习到控制动作的仿真器。这展示了Genie向通用人工智能（AGI）构建全面世界模型的潜力。
Q&A
Genie是什么？它有什么主要功能？
Genie是Google DeepMind推出的一个从互联网视频中学习的创新世界模型，能够根据图像提示创造出无限种可操作的2D世界。它可以将任意图像转化为互动的2D环境，并允许用户通过潜在动作进行控制。
Genie是如何训练出来的？使用了哪些数据和参数规模？
Genie使用了超过20万小时的2D平台游戏视频进行训练，模型拥有110亿参数。它通过无监督的方式学习潜在动作，并采用时间感知的视频分词器将视频压缩成离散标记，以及MaskGIT动力学模型预测未来帧。
Genie和OpenAI的Sora有什么区别？
Genie强调动作控制，是一个能够控制动作的世界模型，并且完全通过视频学习，不依赖任何监督。而Sora虽然视觉效果震撼，但缺乏动作控制能力。
Genie学习到的动作空间有什么特点？用户如何与之交互？
Genie学习到的动作空间丰富、一致性强且易于理解。用户在尝试几次后，通常能够将其与具有语义意义的动作（如向左走、向右走、跳跃等）相对应，从而控制角色。
Genie除了2D世界，还能应用于其他领域吗？
是的，Genie具有广泛的通用性，不仅局限于二维空间。研究团队还在机器人数据集（RT-1）上进行了Genie训练，尽管其中不包含具体动作数据，也成功展示了如何学习到一个可以控制动作的仿真器。
世界模型的计算过程包括哪些部分？Genie是如何实现的？
世界模型的计算过程包括观测值x(t)、对世界状态的先前估计s(t)、行动建议a(t)和潜在变量建议z(t)。Genie通过编码器、预测器和潜在变量实现：编码器将观测值编码为h(t)，预测器根据h(t)、s(t)、z(t)、a(t)预测下一状态s(t+1)。Genie还开发了时间感知的视频分词器和MaskGIT动力学模型来预测未来帧。
