内容提要
OpenAI的GPT-Live 1全双工语音模型已上线AI Gateway,支持边听边说、用户随时打断或补充。该模型支持客户端委托,应用可独立选择文本模型处理复杂任务,并通过评论频道播报结果。使用需安装AI SDK 7及相关依赖,委托请求单独计费。
延伸解读
全双工语音的交互变化
GPT-Live 1 采用全双工架构,能同时听和说,不再依赖轮流检测。这意味着用户可以在模型说话时随时暂停、打断或补充细节,交互更接近自然对话。对于需要实时反馈的语音应用,这种设计减少了等待和机械的轮次切换,但开发者需注意处理并发音频流和事件顺序。
客户端委托的灵活性与成本
客户端委托允许应用独立选择后台文本模型,与 GPT-Live 1 解耦。基础会话仅运行语音模型,需要深度处理时,可调用 AI Gateway 上任意文本模型,并通过评论频道播报结果。委托请求单独计费,语音会话同时继续计费,因此需权衡任务复杂度与成本。
集成与开发注意事项
使用 GPT-Live 1 需安装 AI SDK 7、@ai-sdk/openai 4.0.67 或更高版本,以及 WebSocket 客户端。示例代码省略了 WebSocket 连接、事件解析、转录组装、音频流和关闭等步骤,实际开发中需参考 AI Gateway 文档的 GPT-Live 指南,确保完整实现连接与音频流处理。
Q&A
GPT-Live 1 是什么类型的模型?它有什么特点?
GPT-Live 1 是 OpenAI 推出的全双工语音模型,可以同时听和说。它移除了传统语音模型的轮次检测边界,因此用户可以在模型说话时暂停、打断或补充细节。
GPT-Live 1 的客户端委托功能是什么?
客户端委托允许你独立于 GPT-Live 1 选择后台模型。基础会话只运行语音模型;当需要更深入的工作时,你的应用可以用 AI Gateway 上的任意文本模型处理委托任务,同时对话继续进行。
使用 GPT-Live 1 需要安装哪些依赖?
需要安装 AI SDK 7、@ai-sdk/openai 4.0.67 或更高版本,以及一个 WebSocket 客户端。例如使用 pnpm 安装:pnpm add ai@latest @ai-sdk/openai@latest ws,并安装开发依赖 @types/ws 和 @types/node。
如何在不使用委托的情况下启动一个简单的 GPT-Live 1 会话?
使用 createOpenAI 配置 API 密钥和 baseURL,然后调用 experimental_realtime('openai/gpt-live-1', { api: 'live' })。发送 session-start 事件并配置指令,等待 session-started 事件后再发送音频。
GPT-Live 1 如何委托任务给文本模型并播报结果?
在委托处理函数中,使用 generateText 调用任意文本模型(如 openai/gpt-5.6-sol)生成文本,然后通过 context-append 事件将结果发送到评论频道(channel: 'commentary'),让语音模型播报出来。
委托模型请求如何计费?
委托的模型请求通过 AI Gateway 单独计费;在它们运行期间,语音会话的使用也会继续计费。