Mistral AI 发布 Voxtral 3:语音转文字、TTS 与语音智能体 SDK

Mistral AI 发布 Voxtral 3:语音转文字、TTS 与语音智能体 SDK

💡 原文中文,约3500字,阅读约需9分钟。
📝

内容提要

Mistral AI发布Voxtral 3语音模型家族及配套SDK,包括3个转写模型、1个TTS模型和基于LiveKit的语音智能体SDK,均已在Mistral API公开预览。Small Transcribe 3的AA-WER为2.1%,排名第三,说话人分离表现最佳,但实时模式精度落后于Gemini 3.5 Realtime。批处理转写每分钟0.0035至0.004美元,TTS每百万字符13美元,未宣布开源权重。

🔎

延伸解读

精度与速度的取舍

Small Transcribe 3 的 AA-WER 为 2.1%,排名第三,但速度因子为 65.8x,远低于 MAI-Transcribe-2 的 307.5x。这意味着在需要高吞吐的批处理场景中,Voxtral 的精度优势可能被速度差距抵消。团队应根据任务对延迟和成本的敏感度选择模型,而非仅看错误率排名。

实时模式的精度妥协

实时转写模型在 240 ms 延迟下 WER 升至 7.4%,而 Gemini 3.5 Realtime 为 4.2%。文章指出实时模式以精度换时延,且 Voxtral 所有档位均落后于 Gemini。对于电话客服等对实时性要求高的场景,需权衡低延迟与转写准确性,或考虑混合方案。

语音智能体的模块化设计

SDK 基于 LiveKit,将聆听、推理和发声拆分为独立模型,每轮交互在 1 秒内完成,并支持打断和 SIP/WebRTC。这种设计允许团队替换 LLM、声音或语言,但文章未披露各阶段模型的具体资源需求,实际部署时需自行评估集成复杂度与成本。

定价与开源的缺失

批处理转写每分钟 0.0035 至 0.004 美元,TTS 每百万字符 13 美元,语音智能体 API 每分钟 0.04 至 0.08 美元。文章明确未宣布开源权重,模型仅通过 Mistral API 或自有基础设施部署提供。对于需要本地化或定制微调的团队,这限制了灵活性,需依赖厂商路线图。

❓

Q&A

Voxtral 3 包含哪些模型和 SDK?

Voxtral 3 包含 3 个转写模型(Voxtral Small Transcribe 3、Voxtral Mini Transcribe 3、Voxtral Mini Transcribe Realtime 3)、1 个文本转语音模型(Voxtral Speech 3)以及一个基于 LiveKit 构建的语音智能体 SDK。

Voxtral 3 的转写准确率怎么样?

Small Transcribe 3 在 Artificial Analysis 上的 AA-WER 为 2.1%,排名第 3;Mini 为 2.2%。在 FLEURS 45 上,Small 的 WER 为 4.1%(指定语言)/4.0%(推断语言)。说话人分离 cpWER 为 18.4%,表现最佳。但实时模式在 240 ms 下 WER 为 7.4%,落后于 Gemini 3.5 Realtime 的 4.2%。

Voxtral 3 的定价是怎样的?

批处理转写:Mini 每分钟 $0.0035,Small 每分钟 $0.004;实时转写每分钟 $0.008;TTS 每百万字符 $13;语音智能体 API 配 Mistral Small 4 为每分钟 $0.04,配其他推理模型为每分钟 $0.08。

Voxtral 语音智能体 SDK 如何工作?

该 SDK 基于 LiveKit,以流式管道运行三个阶段:Realtime Transcribe 3 负责聆听并检测话轮结束;通用 LLM(如 Mistral Small 4)负责推理和工具调用;Voxtral Speech 3 用此前对话的语气回应。每轮交互在 1 秒内完成,支持打断和电话/WebRTC 集成。

Voxtral 3 支持多少种语言?

批处理转写覆盖 50 种语言,包括 24 种欧盟官方语言。

Voxtral 3 的模型可以在哪里运行?

可以通过 Mistral API(欧盟、美国及全球端点)运行,或经 Mistral 销售团队部署在自有基础设施上。OpenRouter 也上架了全部 3 个新模型,提供欧盟托管、零数据保留的端点。

Voxtral 3 是否开源?

文章未宣布开源权重,因此 Voxtral 3 目前不是开源的。

🏷️

标签

➡️

继续阅读