把语音能力接入工作流,Ming-3.0 语音系列模型发布

把语音能力接入工作流,Ming-3.0 语音系列模型发布

💡 原文中文,约2800字,阅读约需7分钟。
📝

内容提要

蚂蚁百灵开源Ming-3.0语音系列,共五款模型,覆盖语音合成、音频理解与对话、语音识别。TTS支持文字设定音色、导演模式调控情绪节奏及行内副语言标签,0.5B小模型表现突出;audio-flash/tiny可直接理解长音频并结构化输出,保留情绪与说话人信息;asr-tiny支持热词与上下文注入,提升口音、术语识别准确率。未来将探索Voice Agent长程复杂任务。

🔎

延伸解读

按任务选型:三类语音能力可独立也可组合

Ming-3.0 语音系列并非单一模型,而是按语音合成、音频理解与对话、语音识别三类任务拆分为五款模型。开发者可根据具体场景选择对应能力,例如用 tts 做配音、用 audio 分析长录音、用 asr 转写业务语音,也可将不同模型组合进同一工作流。这种设计降低了按需接入的门槛,也便于在已有系统中逐步替换或增强语音环节。

TTS 的导演模式与副语言标签:控制力是亮点

Ming-3.0-tts 支持用文字描述音色,并可通过导演模式指定情绪变化、重读词和节奏处理。行内副语言标签还能在文本中插入笑声、叹息、咳嗽等表达位置,让合成语音更贴近角色状态。这些控制方式面向有声内容和产品助手场景,使创作者无需额外训练即可调整表演细节,但实际效果仍需结合具体台词和业务需求验证。

长音频理解:跳过逐字稿,保留声音信息

Ming-3.0-audio-flash/tiny 可直接对长音频进行转写、总结和观点分析,并结构化输出。相比先转写再分析的传统流程,它保留了对话中的情绪、说话人身份和环境信息。架构上采用低帧率音频表征和稀疏 MoE 等设计以降低长音频计算负担。评测显示其在音频理解、语音问答、推理和工具调用等任务上有相应得分,适合会议、访谈等需要整理共识与分歧的场景。

ASR 的热词与上下文注入:面向真实业务口音和术语

Ming-3.0-asr-tiny 支持在识别时传入热词列表和对话上文,帮助模型判断同音词、不常见名称和行业术语,无需额外训练。文章称其在领域热词、方言、中英文识别等四类评测中平均错误率为 4.41%,并与闭源及开源模型做了对比。该能力已用于医生助手、搜索、实时语音对话和安全核身等场景,说明其定位是提升真实业务中的转写准确率,而非通用语音识别基准。

❓

Q&A

Ming-3.0 语音系列包含哪些模型?分别对应什么任务?

Ming-3.0 语音系列共五款模型,分为三个系列:语音合成系列 Ming-3.0-tts(含 0.5B 版本),用于有声内容与产品助手;音频理解与对话系列 Ming-3.0-audio-flash/tiny,用于长录音的转写、总结和观点分析;语音识别系列 Ming-3.0-asr-tiny,用于客户沟通与语音输入。开发者可按任务选择,也可组合使用。

Ming-3.0-tts 如何通过文字控制语音的情绪和节奏?

Ming-3.0-tts 支持导演模式,创作者可以用文字描述台词的表演方式,包括情绪如何变化、哪些词需要重读、节奏如何处理。此外,还支持在文本中插入行内副语言标签,指定笑声、叹息、咳嗽等表达出现的位置,让声音更细腻地表现人物状态。

Ming-3.0-tts-0.5B 在评测中的表现如何?

在 Artificial Analysis 2026 年 10 月的评测中,Ming-3.0-tts-0.5B 在 Pronunciation Robustness 测试(关注专有名词、缩写、数字等能否读准)得分为 93.2%,并列全榜单第 1;在 Controlled Voice 榜单中以 1069 Elo 位列开放权重模型第 1;在 Provider Voices 中以 1188 Elo 位列开放权重模型第 3。

Ming-3.0-audio 相比传统先转写再分析的方式有什么优势?

Ming-3.0-audio-flash/tiny 支持直接对长音频进行转写、总结和观点分析等复杂理解,并进行结构化输出。相比传统先语音识别逐字稿再分析的过程,它能保留对话中的情绪、说话人身份、环境信息等,这得益于高效的语音表征、精细声学信息保留以及对长上下文序列的快速推理。

Ming-3.0-asr-tiny 如何提升口音和术语的识别准确率?

Ming-3.0-asr-tiny 通过构建普通话、英文、方言、领域热词等高质量语料并合理控制分布,结合语言模型基座的上下文理解能力,利用候选热词列表和对话上下文信息,为真实业务场景提升识别效果。应用可按需传入热词列表和对话上文,辅助判断同音词和不常见名称,无需额外训练模型。

Ming-3.0 语音系列未来的探索方向是什么?

未来将重点探索语音交互在真实复杂场景的应用,特别是让语音交互支持长程复杂任务:探索 Voice Agent,让语音成为发起和持续推进复杂任务的交互入口。通过多轮对话理解需求、发起任务、查询进展,并记住相关上下文与用户偏好,支持任务在持续交互中逐步完成。

🏷️

标签

➡️

继续阅读