内容提要
谷歌发布Gemini 3.8 Live与Extended Thinking原生语音模型,支持实时推理和工具调用,无需串联ASR、LLM和TTS。Extended Thinking在语音质量指数以82.6分居首,τ-Voice达68.6%,Big Bench Audio达97.7%。Live API支持异步函数调用、视觉输入和97种语言切换。音频输入每分钟0.005美元,输出0.018美元,音频带SynthID水印。
延伸解读
原生语音模型:简化架构与部署限制
Gemini 3.8 Live 系列是原生语音模型,旨在取代传统的 ASR、LLM 和 TTS 串联流程,从而降低延迟并提升对话流畅度。然而,它们是托管模型,不支持自托管,开发者必须通过 Gemini Live API 或 Google AI Studio 使用。这意味着对数据隐私或本地部署有要求的企业需评估合规性。
基准表现:Extended Thinking 在语音质量与任务完成率上领先
根据文章,Gemini 3.8 Live Extended Thinking 在 Artificial Analysis 的语音质量指数中以 82.6 分排名第一,并在 τ-Voice 和 τ-Voice-banking 基准中分别达到 68.6% 和 35.1% 的任务完成率。此外,它在 Big Bench Audio 上获得 97.7% 的高分。这些数据表明该模型在复杂语音代理任务中具有优势,但需注意基准测试条件可能与实际应用存在差异。
开发者能力:异步工具调用与多语言支持
Live API 提供异步函数调用,允许模型在后台执行 API 和工具调用,同时保持音频流不中断。它还支持实时视觉输入、字母数字精度解析、97 种语言的自动切换以及增量内容更新。这些功能有助于构建能同时处理语音和视觉信息的智能体,但实际性能取决于具体集成方式。
定价与生态:按分钟计费及合作伙伴集成
音频输入定价为每分钟 0.005 美元,输出为每分钟 0.018 美元,基于每百万输入 token 3 美元和输出 token 12 美元估算。开发者可通过 Agora、LiveKit 等 Live API 集成合作伙伴构建应用,谷歌还与 Salesforce 等企业合作。所有生成音频均带有 SynthID 水印,便于识别 AI 生成内容。
Q&A
谷歌发布的 Gemini 3.8 Live 和 Gemini 3.8 Live Extended Thinking 是什么?
它们是谷歌推出的最先进的实时对话模型,专为实时语音代理构建的原生语音模型,扩展了 Gemini Audio 系列。两者均已在 Gemini Live API 和 Google AI Studio 上线,是托管模型,不支持自托管。
Gemini 3.8 Live 和 Extended Thinking 有什么区别?
Gemini 3.8 Live 专为规模化和成本效益设计,融合对话智能、流畅对话和可视化辅助功能;Gemini 3.8 Live Extended Thinking 专为高复杂度任务打造,在语音生成过程中增加了更高的智能和多步骤推理能力。
Gemini 3.8 Live Extended Thinking 在基准测试中表现如何?
它在 Artificial Analysis 的语音质量指数中以 82.6 分排名第一;在 τ-Voice 和 Sierra 的 τ-Voice-banking 基准测试中分别以 68.6% 和 35.1% 的完成率领跑智能体任务完成率;在 Big Bench Audio 中取得 97.7% 的高分。
Live API 为开发者提供了哪些核心功能?
Live API 公开了 5 项核心功能:异步函数调用(后台执行 API 和工具调用,完成后持续流式传输音频响应)、视觉环境(近乎实时处理实时视觉输入)、字母数字精度(准确解析确认码、索赔编号等)、多语言支持(自动检测并切换 97 种语言,保持口音一致性)、增量内容更新(结合实时音频与结构化数据返回上下文感知响应)。
这些模型的定价是怎样的?
两种模型的音频输入定价均为每分钟 0.005 美元,音频输出定价均为每分钟 0.018 美元。谷歌表示此估价基于每百万个输入 token 3 美元和每百万个输出 token 12 美元。
生成的音频是否有水印或安全措施?
所有生成的音频都带有谷歌 DeepMind 难以察觉的 SynthID 水印。
有哪些集成合作伙伴可以使用这些模型?
开发者可以通过处理实时媒体流基础设施的 Live API 集成合作伙伴进行构建,包括 Agora、Fishjam、LangChain、LiveKit、Pipecat、Vercel 和 Vision Agents。谷歌还与 Salesforce、Genspark 和 Lumeris 建立了合作关系。