刚刚,谷歌 Genie 4 发布,120 秒的世界却让我看见 AI 的未来

刚刚,谷歌 Genie 4 发布,120 秒的世界却让我看见 AI 的未来

💡 原文中文,约3800字,阅读约需9分钟。
📝

内容提要

Google DeepMind发布世界模型Genie 4,可实时生成逼真虚拟世界,支持声音、物理模拟与角色对话,单次模拟约两分钟。Gemini负责规划行动,Genie 4生成环境,可应用于机器人训练、影视、游戏等领域,但仍存在时长、一致性和物理准确性等局限。

🔎

延伸解读

Gemini 与 Genie 4 的分工:从生成画面到规划行动

文章指出,Genie 4 融合了 Gemini 家族能力:Gemini Omni 提供现实世界的外观与行为基础,Gemini 3.8 Flash 作为实时引导智能体,观察生成画面、分解任务并判断每一步是否成功。Genie 4 负责生成虚拟世界,Gemini 负责规划接下来发生什么。这种分工让世界模型不再只是被动生成视频,而是能根据执行结果调整下一步计划,为机器人训练等需要持续模拟和调整的场景提供了新思路。

两分钟模拟时长的现实意义与局限

Genie 4 单次模拟时长从约一分钟延长至两分钟,但文章明确提到,随着模拟时间延长,物体细节可能变化,场景可能出现前后不一致;连续修改提示词或在较大环境中探索时,模型也可能逐渐失去对早期场景信息的准确把握。此外,复杂物理交互、空间准确性、音频生成和画面文字可读性仍有待改进。这意味着它目前更适合短时交互演示和快速原型,而非支撑大型开放世界游戏。

应用前景:从影视预演到机器人训练

文章列举了多个测试方向:电影制作中,创作者可通过文字生成可探索场景,直接调整镜头、灯光、人物动作和对白;游戏开发者可用它快速测试美术风格和基础互动玩法;新闻与教育领域有摄影记者尝试将二维历史照片转化为动态场景,或模拟洪水、野火发展。企业端则可能用于工业仿真和机器人研发。不过文章也提醒,AI 根据历史照片推断的画面不能直接视为对历史事实的准确重建。

竞争格局:世界模型成为巨头新战场

文章提到,世界模型正成为 AI 巨头争夺的新方向。除谷歌外,Runway 已推出支持实时音频和交互的 GWM Worlds 2,李飞飞创立的 World Labs 则选择更强调三维环境重建、编辑和长期一致性的空间智能路线。文章还称 AMD 宣布以约 82 亿美元收购 World Labs,说明世界模型的价值已从内容生成延伸到机器人和 AI 算力基础设施。这些对比有助于读者理解 Genie 4 并非孤立产品,而是更大技术竞赛的一部分。

❓

Q&A

Genie 4 是什么?它和上一代相比主要升级了哪些方面?

Genie 4 是 Google DeepMind 发布的新一代世界模型,能实时生成逼真的虚拟世界。相比上一代,它画面更逼真,首次支持原生音频生成(环境声音、音乐、人物对话),物理模拟更准确,单次模拟时长从约一分钟延长至两分钟,并且引入 Gemini 负责规划行动,让世界模型具备推理和规划能力。

Genie 4 如何与 Gemini 结合?这种结合有什么实际用途?

Genie 4 融合了 Gemini 家族的能力:Gemini Omni 提供现实世界的外观与行为基础,Gemini 3.8 Flash 作为实时引导智能体观察画面、分解任务并判断每一步是否成功。Genie 4 负责生成虚拟世界,Gemini 负责规划接下来发生什么。这种结合可用于机器人训练,例如让 Gemini 将复杂任务分解为多个动作,观察机器人在模拟环境中的表现并调整计划,从而在虚拟世界中提前练习,再将能力迁移到现实。

Genie 4 生成的虚拟世界能用来做什么?有哪些行业在测试?

Genie 4 可用于电影制作(快速生成可探索场景,调整镜头、灯光、人物动作和对白)、游戏开发(快速原型测试美术风格和互动玩法)、新闻与教育(将历史照片转化为动态场景,模拟洪水、野火等事件)、企业端工业仿真和机器人研发等。Google DeepMind 已邀请电影、游戏、新闻、教育和工程等行业的测试者探索实际应用。

Genie 4 目前有哪些局限性?

Genie 4 目前单次交互模拟时长仅约两分钟,随着模拟时间延长,物体细节可能变化,场景可能出现前后不一致;连续修改提示词或在较大环境中探索时,模型可能失去对早期场景信息的准确把握;复杂物理交互、空间准确性、音频生成以及画面中文字的可读性都还有待改进。距离支撑大型开放世界游戏还有技术距离。

Genie 4 如何让虚拟角色拥有实时对话能力?这对游戏意味着什么?

Genie 4 首次支持原生音频生成,可以在生成世界的同时实时生成环境声音、音乐和人物对话。虚拟角色不再依赖预先设计的对白和行为逻辑,而是根据用户输入和场景中发生的事情动态生成语言与反应。这意味着未来玩家有机会走进 AI 创造的世界,与人物自由交流,甚至通过自己的行动改变故事发展。

Genie 4 的发布对 AI 和世界模型领域有什么意义?

Genie 4 标志着世界模型开始与大语言模型的推理能力深度结合。过去 AI 只能生成视频或告诉你可能看到什么,现在它开始理解行动后果,并在虚拟环境中反复尝试。对于走向现实世界的 AI Agent 和机器人来说,能够预测行动后果比生成漂亮视频更重要。世界模型也成为 AI 巨头争夺的新方向,Runway、World Labs 等公司也在推进相关技术。

🏷️

标签

➡️

继续阅读