CosyVoice多语言、音色和情感控制模型，one-shot零样本语音克隆模型本地部署(Win/Mac),通义实验室开源
内容提要
阿里通义实验室开源了CosyVoice语音模型，支持自然语音生成，多语言、音色和情感控制。模型训练数据超过15万小时，支持中英日粤韩5种语言合成。提供了Windows和Mac平台的本地部署教程。推荐使用webui进行操作。
延伸解读
本地部署的跨平台适配要点
文章指出官方版本暂不支持Windows和Mac平台，因此作者分别提供了两个平台的部署教程。Windows平台需使用特定仓库，并安装deepspeed的Windows版本和GPU版torch；Mac平台则需通过Homebrew安装sox。两者均需设置PYTHONPATH环境变量，且推荐使用webui操作。这表明社区适配是当前在非Linux系统上运行CosyVoice的主要途径。
模型选择与功能调用方式
CosyVoice提供了多个预训练模型，包括CosyVoice-300M、CosyVoice-300M-SFT和CosyVoice-300M-Instruct，分别对应零样本克隆、预训练音色和指令控制功能。文章通过代码示例展示了inference_sft、inference_zero_shot、inference_cross_lingual和inference_instruct四种调用方式，用户可根据需求选择相应模型和接口。
部署中的潜在问题与注意事项
文章提到，在Windows部署中，作者将官方的torch音频后端从sox改为了soundfile，并提示可能会有一些bug，建议关注官方项目更新。此外，虽然官方推荐Python 3.8，但实际在3.11上也能运行，且理论上性能更好。这些细节提醒用户在部署时需留意环境差异和可能的兼容性问题。
Q&A
CosyVoice模型支持哪些语言的合成？
CosyVoice模型支持中、英、日、粤、韩五种语言的合成。
如何在Windows平台上部署CosyVoice模型？
在Windows上部署CosyVoice需要克隆项目、安装依赖、下载模型并设置环境变量。
CosyVoice的one-shot音色克隆功能是如何工作的？
CosyVoice的one-shot音色克隆功能只需3到10秒的原始音频即可生成模拟音色。
在MacOS上如何安装CosyVoice模型？
在MacOS上安装CosyVoice需要克隆项目、安装依赖并通过Homebrew安装sox。
CosyVoice模型的训练数据量是多少？
CosyVoice模型的训练数据超过15万小时。
使用CosyVoice模型时推荐的操作方式是什么？
推荐使用webui进行操作，提供更直观和方便的体验。
