扩散模型做游戏引擎，单TPU 20 FPS模拟毁灭战士，谷歌最新GameNGen太博眼球了
内容提要
谷歌研究者开发了GameNGen游戏引擎，可以实时生成《毁灭战士》的游戏画面，每秒20帧，标志着人工智能领域的重要进展。该技术可推广到其他视频游戏，实现高质量交互模拟。
延伸解读
技术路径：两阶段训练与扩散模型
GameNGen 的训练分为两个阶段：首先，一个强化学习智能体学习玩《毁灭战士》并记录游戏过程；然后，训练一个扩散模型（Stable Diffusion v1.4 的增强版本）根据过去的帧和动作序列生成下一帧。这种自回归生成方式结合条件增强，使得系统能够在长轨迹上保持稳定，实现高质量的实时交互模拟。
性能表现：单 TPU 上的实时生成
GameNGen 在单个张量处理单元（TPU）上以每秒 20 帧的速度生成可玩的《毁灭战士》画面，下一帧预测的 PSNR 达到 29.4，与有损 JPEG 压缩相当。这表明神经模型能够高效处理复杂的 3D 环境和快节奏动作，且无需传统游戏引擎的常规组件，为实时交互模拟提供了新的可能性。
争议与局限：创新性与实用性讨论
尽管 GameNGen 展示了神经模型驱动游戏引擎的潜力，但也有观点认为它并未解决实际问题，没有创造新事物，效率也不比其他研究更高，更像是一个有趣的实验。此外，该系统并非精确模拟，但能执行计算弹药、攻击敌人等复杂状态更新。这些争议提示读者在关注技术突破的同时，也需理性看待其当前局限。
Q&A
GameNGen是什么？
GameNGen是第一个完全由神经模型驱动的游戏引擎，能够实时生成《毁灭战士》的游戏画面。
GameNGen的运行效率如何？
GameNGen在单个TPU上以每秒20帧的速度生成可玩的游戏画面。
这项技术对未来游戏开发有什么影响？
这项技术可以推广到其他视频游戏，未来可能会生成尚不存在的新游戏。
GameNGen是如何训练的？
GameNGen的训练分为两个阶段：RL智能体学习和训练扩散模型生成下一帧。
GameNGen在视觉质量上表现如何？
GameNGen能够以与原始游戏相当的视觉质量实时运行《毁灭战士》。
GameNGen的游戏运行循环包括哪些步骤？
游戏运行的基本循环包括收集用户输入、更新游戏状态和渲染屏幕像素。
