微软开源的VibeVoice是一种新型文本转语音(TTS)合成技术,能够生成高保真、多说话人的长语音。该技术采用下一token扩散方法,显著提高了长序列处理的效率和音频质量,支持最多4名说话人的对话,表现超越现有模型。用户可通过HyperAI官网体验实时语音合成服务。
微软的VibeVoice-1.5B是开源文本转语音技术的重大进展,支持长达90分钟的多说话人音频生成,具备跨语言和歌唱合成能力,采用流式架构,强调情感表现,适合播客和对话场景。
本文介绍了一个语音合成系统的开发,用于LIMMITS'24挑战赛,目标是建立一个具有语音克隆功能的多说话人、多语言的印度文本到语音系统。系统使用挑战数据进行训练,并对目标发言人进行少样本语音克隆微调。评估包括对七种语言进行主观测试,评估自然度和发言人相似性。系统使用了VITS2架构,结合多语言ID和BERT模型来增强上下文语言理解。在第一阶段,模型的发言人相似性得分为4.02,在允许使用额外数据的第二阶段,得分为4.17。
完成下面两步后,将自动完成登录并继续当前操作。