量子位
·
Soul App开源播客语音合成模型，可流畅自然多轮语音对话，支持川粤豫等多方言与副语言风格
💡
原文中文，约2700字，阅读约需7分钟。
📝
内容提要
Soul App开源了播客语音合成模型SoulX-Podcast，支持多轮对话和多方言，生成自然流畅的语音，尤其在语音克隆和长对话中表现优异，具备丰富的韵律和情感表达，推动AI与社交结合，提升用户体验。
🎯
关键要点
- Soul App开源了播客语音合成模型SoulX-Podcast，支持多轮对话和多方言。
- SoulX-Podcast能够生成自然流畅的语音，尤其在语音克隆和长对话中表现优异。
- 模型支持中、英、川、粤等多语种和方言，能够稳定输出超60分钟的对话。
- 在零样本克隆场景中，SoulX-Podcast展现出卓越的语音生成能力，能够灵活调节韵律与节奏。
- 支持多种副语言元素的可控生成，如笑声和清嗓，增强合成语音的表现力。
- 实现了跨方言音色克隆，即使仅提供普通话的参考语音，也能生成带有方言特征的自然语音。
- SoulX-Podcast可以支持超长播客的生成，并维持稳定的音色与风格。
- Soul平台通过语音互动构建用户关系，推动AI与社交的结合。
- 团队推出了多种语音大模型，应用于虚拟伴侣和多人语音互动场景。
- SoulX-Podcast的开源旨在解决多轮对话和方言支持不足的问题，提升用户的沉浸体验。
- 未来将持续聚焦语音对话合成和拟人化表达，探索AI与社交的更多可能。
❓
延伸问答
SoulX-Podcast模型的主要功能是什么？
SoulX-Podcast模型支持多轮对话和多方言，能够生成自然流畅的语音，尤其在语音克隆和长对话中表现优异。
SoulX-Podcast如何处理多方言的语音合成？
SoulX-Podcast支持中、英、川、粤等多种方言，并能实现跨方言音色克隆，即使仅提供普通话的参考语音，也能生成带有方言特征的自然语音。
SoulX-Podcast在零样本克隆场景中的表现如何？
在零样本克隆场景中，SoulX-Podcast展现出卓越的语音生成能力，能够灵活调节韵律与节奏，保持对话的自然流畅。
SoulX-Podcast如何提升用户的沉浸体验？
SoulX-Podcast通过支持多轮对话和副语言元素的可控生成，增强合成语音的表现力，使播客语音更贴近真实交流场景。
Soul团队未来的技术发展方向是什么？
Soul团队未来将持续聚焦语音对话合成、全双工语音通话、拟人化表达等核心交互能力的提升，探索AI与社交的更多可能。
SoulX-Podcast的开源目的是什么？
SoulX-Podcast的开源旨在解决多轮对话和方言支持不足的问题，推动AI与社交的结合，提升用户的沉浸体验。
➡️
