谷歌宣布游戏模拟AI GameNGen
内容提要
谷歌的研究团队发表了一篇关于GameNGen的论文，这是一个能够模拟《毁灭战士》游戏的生成式AI模型。GameNGen以每秒20帧的速度模拟游戏，人类评估显示其与实际游戏受欢迎程度相近。谷歌基于开源模型进行了修改，使其能够根据之前的帧和动作输入生成游戏画面。经过强化学习训练，该模型能够模拟和维护真实游戏的复杂状态。谷歌通过与真实游戏对比展示了GameNGen，并且评委们有40%的时间更喜欢模拟游戏片段。谷歌希望这种模式能够带来游戏开发的廉价和易于访问，以及对帧率和内存占用的强大保证。
延伸解读
技术路径：基于Stable Diffusion的改造
GameNGen并非从零构建，而是基于开源的Stable Diffusion v1.4文本到图像模型进行修改。谷歌调整了模型输入，使其根据之前的帧和动作（如按键或鼠标点击）生成下一帧游戏画面。这展示了如何将图像生成模型转化为交互式模拟器，也为开源模型在复杂任务中的潜力提供了例证。
训练数据与强化学习代理
为了获得大规模训练数据，谷歌使用强化学习训练了一个游戏代理，收集了约9亿帧及其对应动作。这种数据收集方式使模型能够学习游戏动态和状态维护，包括玩家健康和物品。强化学习代理在此扮演了关键角色，为生成模型提供了丰富的交互经验。
评估结果：人类评委的偏好
在人类评估中，评委对比模拟游戏片段与真实游戏片段，有40%的时间更喜欢模拟片段。这表明模拟质量已接近真实游戏，但仍有差距。评估结果提供了模型性能的客观参考，也暗示了进一步改进的空间。
潜在影响与当前限制
谷歌希望这种模式能降低游戏开发成本，提高可访问性，允许通过文本描述或示例图像进行游戏开发和编辑。短期目标包括创建现有游戏的修改或新行为。然而，模型开发中曾出现错误累积和样本质量下降问题，通过添加噪声和噪声水平输入解决。此外，谷歌未发布GameNGen代码，但基础Stable Diffusion权重在Huggingface上可用。
Q&A
GameNGen是什么？
GameNGen是谷歌开发的一个生成式AI模型，能够模拟《毁灭战士》游戏。
GameNGen的模拟速度是多少？
GameNGen以每秒20帧的速度模拟游戏。
谷歌如何训练GameNGen模型？
谷歌使用强化学习训练了一个游戏代理，收集了约9亿帧及其对应的动作作为训练数据。
GameNGen与真实游戏的受欢迎程度如何比较？
在评估中，评委们40%的时间更喜欢模拟游戏片段，显示其与真实游戏受欢迎程度相近。
GameNGen的开发对游戏开发有什么潜在影响？
GameNGen可能降低游戏开发的成本，提高可访问性，允许通过文本描述或示例图像进行开发和编辑。
GameNGen在生成游戏帧时遇到了什么问题？
研究人员发现模型生成游戏帧时存在“错误累积和样本质量快速下降”的问题。
