巴黎语音AI公司Gradium推出Voice Design功能,输入文字描述即可在数秒内生成全新语音,无需参考音频或真人说话人,也无需处理版权授权。该功能已上线API和Studio,所有套餐免费开放,支持五种语言。厂商自测盲听对比中,其在7627次比较里胜率72.6%,五种语言均排名第一,尤其擅长地域口音。生成的语音可作为常规voice_id用于流式TTS接口。
Miso Labs发布了MisoTTS,这是一款拥有80亿参数的文本转语音模型,采用残差矢量量化技术,能够根据文本和音频上下文生成富有表现力的语音。该模型的词汇量可扩展至约2048³²,支持半双工传输,API访问正在开发中。
阶跃语音生成模型StepAudio 2.5 TTS在全球TTS评测中排名第三,展现出自然的语音表达能力,适用于客户服务和知识分享等场景。阶跃还推出了StepAudio 2.5系列模型,涵盖语音生成、识别和实时交互,强调“有温度”的AI体验,已在多个核心场景实现商业化落地。
Mistral发布了Voxtral-4B-TTS-2603模型,旨在提升多语言语音生成的自然度和效率。该模型结合了语义自回归和声学流匹配,支持低延迟本地运行,展现出良好的泛化能力。
微软的VibeVoice语音生成模型因其强大功能被下架,后加水印后免费开源。该模型能够克隆声音、生成90分钟对话、实时响应,支持多语言并可本地运行。尽管有安全控制,仍需警惕深度伪造风险。VibeVoice将语音AI提升为内容生成系统,为开发者带来新机遇。
MOSS-TTS系列是MOSI.AI与OpenMOSS联合推出的多模型语音生成工具,克服了单一模型在复杂场景中的局限,支持高保真语音、对话和实时交互,适用于多种语言和风格切换。
本文介绍了一种名为“原则性粗粒度接受”(PCG)的新方法,旨在加速语音生成中的推测解码。PCG通过在声学相似性组(ASGs)层面验证提议,提高了接受率和吞吐量,同时保持了语音的可懂性和说话者相似性,为加速语音令牌生成提供了有效解决方案。
Rabbit公司发布了第二代操作系统Rabbit OS2,针对AI硬件R1进行了全面升级。新系统采用卡片式界面,提升用户体验,并推出“Creations”平台,支持用户通过语音生成应用。尽管受到批评,Rabbit团队积极改进,获得媒体和用户认可,标志着AI硬件的新进展。
VoXtream技术通过实时文本处理消除了传统TTS系统的延迟,采用动态音素前瞻机制,提升了语音生成的速度和自然度。与其他系统相比,VoXtream在字错误率和实时因子上表现优异,适合实时语音代理和同声传译。
微软开源的VibeVoice-1.5B模型在TTS领域备受关注,能够生成90分钟的高自然度语音,支持4位说话者。其创新点在于双Tokenizer架构和扩散解码技术,MOS评分达到4.5。该模型主要面向科研和开发者,目前仅支持中英文,强调研究用途以防滥用。
本文提出了一项新任务——从视频和转录文本生成语音(VTTS),旨在推动多模态语音生成技术的发展。我们介绍了Visatronic解码器模型,该模型将视觉、文本和语音嵌入统一的变换器中,通过自回归损失进行学习,简化了传统方法的复杂性,并在多模态语音生成中表现优越。相关代码和数据集将发布以促进进一步研究。
本研究提出FMSD-TTS框架,针对藏语低资源问题,通过少量音频和方言标签生成方言语音,提升了方言表现力和说话人相似性。
专家分析了过去99天内的开源项目,发现多代理协作、AI工具集成和语音生成技术的进步是主要趋势。项目如Open WebUI、Unbody和OWL展示了AI领域的创新,强调了标准化集成和多代理合作的潜力。
本研究提出AlignDiT模型,解决多模态语音生成问题,能够从文本、视频和音频合成高质量语音,提高可懂性和同步性。
本研究提出了SOLIDO方法,利用低秩自适应技术解决语音生成模型的安全性问题,特别是模型侵权和内容滥用。该方法能够对可变长度输入进行精确水印提取,实验结果显示提取准确率最高可达99.20%。
Amazon Nova Sonic 是一款集成语音理解与生成的模型,简化语音应用开发,支持低延迟对话,能够动态调整语音回复,处理多种说话风格,并具备内容审核功能,适用于客户支持等场景。
本研究针对新手内容创作者在社交媒体视频中录制语音的困难,提出了一种新方法,通过用户提供的上下文简化文本到语音(TTS)生成,并利用SpeakEasy系统进行优化。研究结果表明,使用SpeakEasy的参与者能够更有效地生成符合个人标准的语音表现。
阿里通义千问团队于3月27日发布了Qwen2.5-Omni,这是一个支持文本、图像、音频和视频实时交互的多模态大模型。该模型开源,具备卓越的语音生成和多模态性能,适用于多种智能硬件,并在多项基准测试中表现优异。
Qwen2.5-Omni是一款新型多模态模型,支持文本、图像、音频和视频的实时交互,采用Thinker-Talker架构,具备优越的语音生成和指令执行能力,表现优于同类产品。目前已在多个平台上线,期待用户反馈与创新应用。
现代文本转语音(TTS)技术,如E2和F5 TTS模型,显著提升了语音生成质量,解决了传统系统的延迟和不自然问题。E2 TTS采用简化架构,F5 TTS结合流匹配和扩散变换器,进一步优化输出。用户可以通过HuggingFace平台轻松测试和应用这些模型,生成更自然的人声对话。
完成下面两步后,将自动完成登录并继续当前操作。