Fish Audio 发布 Live 3:一款能在 186 毫秒内做出反应的全双工语音模型

Fish Audio 发布 Live 3:一款能在 186 毫秒内做出反应的全双工语音模型

💡 原文中文,约2500字,阅读约需6分钟。
📝

内容提要

Fish Audio 发布全双工语音模型 Live 3,可在说话时持续聆听,将话轮转换从流水线规则移入模型,基于真实对话学习何时应声、等待、回应或停止,能区分附和与打断,并在用户更正时保持等待。短反应决策最低 186 毫秒,完整回答并行准备。支持 Agent 平台、API 和本地部署,仅支持英语,尚无第三方基准评分。促销价每分钟 0.035 美元,截至 2026 年底,之后 0.07 美元。

🔎

延伸解读

话轮转换从规则移入模型,意味着什么

传统语音智能体依赖静音阈值等流水线规则判断话轮,容易在号码停顿或用户附和时误判。Live 3 将时机判断交给基于真实对话训练的模型,使其能区分“嗯”是附和还是打断,并在用户更正时保持等待。这减少了手工调参,但模型行为由数据驱动,开发者需关注其在边缘场景下的稳定性。

186 毫秒是短反应下限,不是完整回复延迟

官方公布的 186 毫秒仅涵盖“mm-hmm”“好的”等短反应决策,完整回答是并行准备的。文章未公布延迟分布,且截至 11 月 11 日尚无第三方基准评分。因此,这一数字不能直接等同于用户感知的端到端响应速度,实际体验仍需结合完整回复的首字节音频时间评估。

价格优势明显,但仅支持英语且缺第三方验证

Live 3 促销价每分钟 0.035 美元,目录价 0.07 美元,含 STT、基础 LLM、TTS 等,电话通话另加 0.01 美元/分钟。对比表中,其价格低于 OpenAI 语音层加后端 token 的模式。但该模型仅支持英语,且话轮转换与推理得分均未公布,第三方评分缺失,选型时需谨慎权衡。

部署灵活,但需注意文档与功能状态

Live 3 可通过 Fish Agent Platform、API 和本地部署使用,Agents 平台处于公开测试阶段,提供 REST 接口及浏览器客户端。启用方式见一份待合并的文档 PR,通过 voice.engine: "live3" 开启,语音识别固定使用 fish_audio:transcribe-stream-1。开发者应留意文档尚未合并,功能细节可能调整。

❓

Q&A

Fish Audio Live 3 是什么?它有什么特别之处?

Fish Audio Live 3 是一款全双工语音模型,能够在说话的同时持续聆听。其特别之处在于将话轮转换(turn-taking)从手工调校的流水线规则移入语音模型本身,基于真实人类对话学习何时应声、等待、回应或停止。

Live 3 如何区分“附和”和“打断”?

Live 3 能区分“附和”与“打断”:当用户说“嗯”时,它会让智能体继续说下去;而当用户说“等等,其实我只要周四”时,它会停下。此外,在用户更正过程中(如“两个披萨……不,三个”),它会保持等待,而不是记下错误的订单。

Live 3 的响应速度有多快?186 毫秒指的是什么?

Fish Audio 表示,Live 3 可在低至 186 毫秒内决定作出回应。该数字涵盖“mm-hmm”“好的”以及快速确认这类短反应,完整回答是并行准备的。这是小反应的下限,而非完整回复的首字节音频时间。

开发者如何部署和使用 Live 3?

Live 3 可在 Fish Agent Platform、Fish Audio API 上使用,企业还可选择本地部署。Agents 平台目前处于公开测试阶段,在 /v1/agent/* 下暴露 REST 接口。浏览器会话通过 @fishaudio/agent-client 或 @fishaudio/agent-react 运行。Agents 可以接听电话号码、通过 WebRTC 连接,或嵌入网站小组件。Live 3 页面列出 200 万以上的音色库,其中包括克隆音色。

Live 3 的价格是多少?促销价持续到什么时候?

Live 3 页面标价为每分钟 0.035 美元,较 0.07 美元下调 50%,优惠截至 2026 年 12 月 31 日。该页面称该套餐包含 Live 3。定价文档称,0.07 美元的目录价涵盖 STT、TTS、基础 LLM、知识检索和工具调用。电话通话额外收取每分钟 0.01 美元,一个号码每月 1.20 美元。新账户可获得 5 美元试用余额。

Live 3 支持哪些语言?有第三方基准评分吗?

Live 3 仅支持英语。截至 11 月 11 日,第三方追踪机构 OrcaRouter 表示 Live 3 尚无 Artificial Analysis 评分。

🏷️

标签

➡️

继续阅读