阿里云通义千问团队开源两款语音基座模型 语音识别效果优于OpenAI Whisper模型

阿里云通义千问团队开源了两款语音基座模型：SenseVoice和CosyVoice。

SenseVoice用于多语言语音识别，识别效果优于OpenAI Whisper模型。

CosyVoice用于生成语音，支持跨语言语音克隆、指令跟随和情感控制。

这两款模型均采用Apache 2.0许可证，开发者和企业可免费使用。

SenseVoice支持语音识别、语种识别、情感识别和声学事件检测等功能。

SenseVoice模型训练使用超过40万小时的数据，支持50种语言。

SenseVoice具备优秀的情感识别能力，推理延迟极低，适合实时应用。

CosyVoice在多语言语音生成和指令跟随等方面表现出色。

这两款模型属于FunAudioLLM系列，旨在增强人与大型语言模型之间的自然语音交互。

模型已在Modelscope和HuggingFace平台提供，开发者可下载测试。