阿里音频生成大模型一次发俩还开源！50种语言快速理解+5种语言语音生成，带情感的那种
内容提要
阿里通义实验室发布开源语音大模型项目FunAudioLLM，包含SenseVoice和CosyVoice两个模型。SenseVoice支持50种语言识别和情感辨识，效果优于Whisper模型。CosyVoice支持多语言、音色和情感控制，生成模拟音色和情感细节。FunAudioLLM可用于音色情感生成的多语言语音翻译、情绪语音对话、互动播客和有声读物等应用场景。CosyVoice的合成音频内容一致性高，情感控制能力强。SenseVoice具备多种语音理解能力，包括自动语音识别、情感识别和音频事件检测。相关模型已在GitHub上开源。
延伸解读
双模型分工：理解与生成各司其职
FunAudioLLM 包含 SenseVoice 和 CosyVoice 两个模型，分别负责语音理解与生成。SenseVoice 专注高精度多语言识别、情感辨识和音频事件检测，支持超过 50 种语言；CosyVoice 则负责自然语音生成，支持中英日粤韩 5 种语言，并能控制音色和情感。这种分工让系统既能“听懂”语音中的情感和事件，又能“说出”带有相应情感和音色的语音，为复杂语音交互应用提供了基础。
性能优势：识别更快，生成更稳
在识别方面，SenseVoice 在多语言语音识别上优于 Whisper，中文与粤语提升 50% 以上，且推理延迟极低，SenseVoice-Small 比 Whisper-Small 快 7 倍，比 Whisper-Large 快 17 倍。在生成方面，CosyVoice 的合成音频在内容一致性上高于 ChatTTS，且很少出现幻觉多字现象，情感控制能力也经过客观评测验证。这些性能优势意味着在实际应用中，系统能更快响应且生成更可靠的语音。
应用场景：从翻译到有声读物的情感化交互
基于 SenseVoice 和 CosyVoice，FunAudioLLM 可支持多种人机交互场景。例如，结合 LLM 可实现模拟音色与情感的多语言语音翻译，让译文保留原始情感色彩；也可开发情感语音聊天应用，根据用户情绪生成适当回应；还能用于互动播客，实时捕捉对话和情感，并允许用户打断引导话题；在有声读物中，LLM 分析文本情感后，CosyVoice 能将其转化为富有表现力的语音，提升听觉体验。
开源与可及性：模型和代码均已开放
FunAudioLLM 的相关模型已在 ModelScope 和 Huggingface 上开源，并在 GitHub 发布了训练、推理和微调代码。CosyVoice 提供了基模型、SFT 微调模型和细粒度控制模型，SenseVoice 也有 Small 和 Large 两个版本，分别适用于低延迟和高精度场景。这种开源策略降低了研究和应用门槛，开发者可以根据需求选择合适的模型进行二次开发或直接部署。
Q&A
FunAudioLLM项目包含哪些模型？
FunAudioLLM项目包含SenseVoice和CosyVoice两个模型。
SenseVoice的主要功能是什么？
SenseVoice主要用于高精度多语言语音识别、情感辨识和音频事件检测。
CosyVoice与传统语音生成模型相比有什么优势？
CosyVoice在音色和情感控制方面显著优于传统语音生成模型，能够生成更自然流畅的语音。
FunAudioLLM可以应用于哪些场景？
FunAudioLLM可用于多语言语音翻译、情绪语音对话、互动播客和有声读物等场景。
CosyVoice支持多少种语言的语音生成？
CosyVoice支持中英日粤韩五种语言的语音生成。
SenseVoice在多语言语音识别性能上与Whisper相比如何？
SenseVoice在多语言语音识别性能上优于Whisper，推理延迟极低。
