我们发布Genie 4——面向实时交互模拟的全新世界模型

💡 原文英文,约200词,阅读约需1分钟。
📝

内容提要

谷歌发布世界模型Genie 4,支持实时交互模拟并原生生成音效。该模型融合Gemini系列能力,由Gemini Omni保障真实感,其他模型维持模拟连贯性。用户可通过自然语言实时操控场景,如移动镜头、改变天气或添加角色,并同步生成环境音、音乐和对话。该技术被视为迈向AGI的重要一步,可用于机器人训练及影视、游戏等领域。目前已向少量测试者开放,后续将登陆Google AI Ultra等平台。

🔎

延伸解读

Gemini 家族分工:真实感与连贯性如何兼顾

Genie 4 并非单一模型,而是融合了 Gemini 系列的不同能力:Gemini Omni 负责将模拟锚定在真实世界的外观与行为上,其他 Gemini 模型则提供复杂推理,以维持模拟的连贯与连续。这种分工意味着,实时交互模拟既要“看起来真”,也要“跑得顺”,两者由不同模块协作实现,而非依赖一个模型包办。

自然语言实时操控与原生音效同步生成

用户可以用自然语言实时引导场景,例如移动镜头、改变天气或引入新角色。与此同时,每个世界都会即时生成原生音频,包括环境音、音乐和交互对话。音效与画面同步生成,而非后期叠加,这使模拟在交互过程中保持声画一致,也更接近真实世界的反馈节奏。

从机器人训练到影视游戏:模拟世界的应用边界

文章将模拟世界视为迈向 AGI 的关键一步,可为机器人和智能体提供安全的训练环境,并放大影视、新闻、游戏、制造等行业的创作工具。这些应用方向覆盖训练与创作两类场景,但文章未给出具体性能指标或落地案例,实际效果仍需观察。

当前仅限少量测试者,平台开放尚需时间

Genie 4 已开始向少量可信测试者开放,后续将登陆 Google AI Ultra 订阅者的 Project Genie,以及 Gemini API 和 AI Studio 的早期访问合作伙伴。这意味着普通用户暂时无法直接使用,功能与体验可能仍处于迭代阶段,正式开放后的表现值得持续关注。

❓

Q&A

Genie 4是什么?它有什么主要功能?

Genie 4是谷歌发布的全新世界模型,支持实时交互模拟,并能原生生成音效。用户可以通过自然语言实时操控场景,如移动镜头、改变天气或添加角色,同时同步生成环境音、音乐和对话。

Genie 4如何利用Gemini系列模型的能力?

Genie 4融合了Gemini系列的能力:Gemini Omni保障模拟的真实感,使模拟锚定在真实世界的外观和行为上;其他Gemini模型提供复杂推理,帮助维持模拟的连贯性和连续性。

用户可以用自然语言对Genie 4进行哪些操作?

用户可以通过自然语言实时操控场景,例如移动镜头、改变天气、引入新角色,并同步生成环境音、音乐和交互式对话。

Genie 4为什么被视为迈向AGI的重要一步?

因为模拟世界是迈向AGI的关键步骤,它能提供安全的训练环境用于机器人和智能体,并增强影视、新闻、游戏和制造等行业的创意工具。

目前哪些人可以体验Genie 4?未来会开放给哪些用户?

Genie 4已开始向少量可信测试者开放。未来将登陆Google AI Ultra订阅者的Project Genie,以及Gemini API和AI Studio的早期访问合作伙伴。

Genie 4可以应用在哪些领域?

Genie 4可用于机器人训练(提供安全训练环境),以及影视制作、新闻报道、游戏开发和制造业等创意工具领域。

🏷️

标签

➡️

继续阅读