小红花·文摘
  • 首页
  • AI Tokens🪙
  • 排行榜🏆
  • 直播
  • FAQ
Dify.AI
沉浸式翻译 immersive translate
Mistral AI 发布 Voxtral 3:语音转文字、TTS 与语音智能体 SDK

Mistral AI发布Voxtral 3语音模型家族及配套SDK,包括3个转写模型、1个TTS模型和基于LiveKit的语音智能体SDK,均已在Mistral API公开预览。Small Transcribe 3的AA-WER为2.1%,排名第三,说话人分离表现最佳,但实时模式精度落后于Gemini 3.5 Realtime。批处理转写每分钟0.0035至0.004美元,TTS每百万字符13美元,未宣布开源权重。

Mistral AI 发布 Voxtral 3:语音转文字、TTS 与语音智能体 SDK

实时互动网 实时互动网 · 2026-10-22T02:09:29Z
阿里百炼多模态交互套件全面升级 Qwen-Audio-3.1 语音大模型,效果更优、成本更低!

阿里云百炼多模态实时交互套件升级至Qwen-Audio-3.1,面向AI眼镜、学习机、汽车、机器人等硬件提供级联式语音交互方案。ASR支持30种语言、16种中文方言及热词识别,首字响应约160毫秒;TTS支持跨语言同音色与情绪语速调节,Elo评分全球第一。套件端到端延迟最低1秒,一套SDK适配30多个硬件平台,TTS降价约70%、ASR降价95%,并提供设备管理与运营能力。

阿里百炼多模态交互套件全面升级 Qwen-Audio-3.1 语音大模型,效果更优、成本更低!

实时互动网 实时互动网 · 2026-10-21T02:09:29Z
NCMMSC 2026 | DiTAR+:针对自回归扩散TTS模型的双重优化

西工大ASLP@NPU提出DiTAR+,针对连续表征自回归扩散语音合成中的长语音说话人漂移和复杂文本语义幻觉问题,设计扩张上下文采样(DCS)与分层声学掩码(HAM)双重优化。DCS扩展历史感受野,HAM先语义后声学。实验显示复杂中文WER从12.478%降至9.893%,长语音WER从2.778%降至2.173%,说话人相似度提升。

NCMMSC 2026 | DiTAR+:针对自回归扩散TTS模型的双重优化

实时互动网 实时互动网 · 2026-10-12T07:02:48Z
从WER、TTFA、SIM到Pareto前沿的开源TTS选型方法

Hugging Face发布Open TTS Leaderboard,以WER、逆实时因子、首段音频时间(TTFA)和说话人相似度四项指标评测超8000个TTS模型。文章主张不将指标加权为单一总分,而应先通过Pareto前沿淘汰被全面支配的模型,再按业务需求设硬门槛。各指标均有局限,部署指标与流式打断体验也需纳入验收,建议团队复用评测协议而非照抄排名。

从WER、TTFA、SIM到Pareto前沿的开源TTS选型方法

Java for You Java for You · 2026-10-01T02:27:58Z
VoxCPM2:扔掉Tokenizer之后,TTS终于可以“造声音”了 - 蝈蝈俊

VoxCPM2是首个完全放弃离散token的开源TTS方案,直接在连续潜空间用扩散自回归建模,避免离散化导致的情感与韵律细节损失。它支持通过自然语言描述生成音色、克隆音色并独立控制风格,覆盖30种语言及9种中文方言,输出48kHz音频,采用Apache-2.0许可可商用,支持LoRA微调,单张RTX 4090即可完成。

VoxCPM2:扔掉Tokenizer之后,TTS终于可以“造声音”了 - 蝈蝈俊

蝈蝈俊 蝈蝈俊 · 2026-09-30T08:43:00Z
vLLM-Omni流式TTS:异步分块、TTFP与端到端延迟取舍

vLLM-Omni流式TTS需区分首包延迟(TTFP)与端到端时间。官方在H200并发1下测得,异步分块加流式使TTFP从733ms降至64ms,但端到端升至941ms。优化应按场景选目标:互动产品保TTFP与连续播放,离线产品保RTF与成本,并关注分片大小、协议完整性与内容质量。

vLLM-Omni流式TTS:异步分块、TTFP与端到端延迟取舍

Java for You Java for You · 2026-09-29T00:49:35Z
ZEGO 实时互动 AI Agent 2.14.10 新增支持 ElevenLabs TTS 模型

ZEGO实时互动AI Agent发布2.14.10版本,新增ElevenLabs TTS供应商,支持语音合成,推荐模型eleven_flash_v2_5,需配置api_key、voice_id等参数,并可设置相似度、语速、稳定性等声音参数。数字人实例新增AlphaMode参数,支持推流携带Alpha透明通道。

ZEGO 实时互动 AI Agent 2.14.10 新增支持 ElevenLabs TTS 模型

实时互动网 实时互动网 · 2026-09-28T07:00:33Z
Google 发布 Gemini 3.8 Flash TTS 与 Flash-Lite TTS,支持基于提示词的语音设计

谷歌发布Gemini 3.8 Flash TTS与Flash-Lite TTS两款文本转语音模型,通过Gemini API和AI Studio开放。Flash TTS面向创意配音,Flash-Lite面向高并发低成本场景。支持提示词设计音色,覆盖100多种语言,提供2000多个音色,支持声音复刻与SynthID水印。Flash TTS在Hume AI评测中排名第一。

Google 发布 Gemini 3.8 Flash TTS 与 Flash-Lite TTS,支持基于提示词的语音设计

实时互动网 实时互动网 · 2026-09-24T02:09:30Z
Qwen-Audio-3.1:能听懂、能创作、能聊天

阿里发布Qwen-Audio-3.1系列五款语音模型,覆盖识别、合成、实时交互与音频创作,全线降价:TTS降约70%、Realtime降约85%、ASR降95%。ASR支持30种语言和16种中文方言,新增润色与分角色转写;ASR-Next可理解情绪与环境声;TTS支持跨语言音色合成;TTS-Next统一生成人声、音效与环境声;Realtime实现全双工交互并可调用工具。

Qwen-Audio-3.1:能听懂、能创作、能聊天

实时互动网 实时互动网 · 2026-09-23T08:53:54Z
自变量 X2-NativeCursor 开源:不用 ASR,TTS也能知道自己说到哪了

自变量机器人提出X2-NativeCursor,用约2M参数进度模型直接从TTS原生语音token估计原文位置,无需ASR或波形对齐。结合播放时钟确定播报进度,支持打断后续读、字幕高亮等。中文位置误差低于在线基线,RTF从0.36降至0.018,并可适配CosyVoice2等不同TTS。

自变量 X2-NativeCursor 开源:不用 ASR,TTS也能知道自己说到哪了

实时互动网 实时互动网 · 2026-09-17T03:26:17Z
Gradium AI 发布全新默认 TTS 模型:难例通过率 81.0%,首音频时间 216 毫秒

Gradium AI发布新TTS模型并设为默认,在500句难例测试中人工评分通过率81%,领先Cartesia和ElevenLabs。首音频延迟216毫秒,低且稳定。支持多语言,无需文本归一化即可准确朗读号码和邮箱。基准测试由厂商运行,评估集已开源。

Gradium AI 发布全新默认 TTS 模型:难例通过率 81.0%,首音频时间 216 毫秒

实时互动网 实时互动网 · 2026-09-01T06:35:17Z
VoxCPM:无需分词的开源 TTS 系统

VoxCPM是开源TTS系统,无需分词即可实时克隆人声,在连续空间建模语音,保留呼吸声等细节。基于MiniCPM-4,采用扩散自回归架构,分文本语义和残差声学两模型,支持上下文感知韵律和零样本克隆(3-10秒音频),可流式合成及微调。

VoxCPM:无需分词的开源 TTS 系统

实时互动网 实时互动网 · 2026-08-31T02:42:24Z
Cartesia 发布 Sonic-3.6:一款流媒体 TTS 模型,登顶 Artificial Analysis 语音竞技场

Cartesia发布Sonic-3.6文本转语音模型,在Artificial Analysis两个语音排行榜均居首,自然度提升显著。该模型基于状态空间模型,时延低于90毫秒,支持即时声音克隆、自定义发音等,以Beta版托管API提供,定价每百万字符49美元,不开放自托管权重。

Cartesia 发布 Sonic-3.6:一款流媒体 TTS 模型,登顶 Artificial Analysis 语音竞技场

实时互动网 实时互动网 · 2026-08-19T02:30:03Z
【全栈实践】第一个 AI Agent 项目:从零搭建 AI 音频创作助手(入门篇)

该项目是一个AI驱动的音频内容创作助手,支持通过自然语言生成定制语音、复刻音色及管理本地音频文件。前端使用Vue 3、TypeScript、Tailwind CSS和ai-elements-vue组件库,后端基于FastAPI、LangChain 1.0和LangGraph,通过SSE和AG-UI协议实现流式交互。系统具备多轮对话记忆,并调用阿里云TTS生成音频。文章还分享了开发中遇到的版本兼容和缓冲问题及解决心得。

【全栈实践】第一个 AI Agent 项目:从零搭建 AI 音频创作助手(入门篇)

京东科技开发者 京东科技开发者 · 2026-08-13T09:49:00Z
缓解 TTS 的重复与漏读:用注意力引导消除语音合成中的稳定性幻觉

论文针对基于大语言模型的语音合成在复杂文本上出现的重复、漏读等稳定性幻觉问题,提出通过注意力引导进行优化。作者从CosyVoice 2的自注意力中发现对齐注意力头,提出最优对齐分数(OAS)评估对齐质量,并据此强化前向注意力约束;同时利用伪对齐路径构建位置思维链,通过稀疏文本Token和进度条预测显式告知模型合成位置。实验表明,该方法在困难文本上词错误率相对下降约35%,且不损害自然度和说话人相似度。

缓解 TTS 的重复与漏读:用注意力引导消除语音合成中的稳定性幻觉

实时互动网 实时互动网 · 2026-07-28T07:21:37Z
从“能说话”到“会表达”:Qwen-Audio-3.0-TTS 发布

Qwen发布Qwen-Audio-3.0-TTS实时语音合成模型,提供Flash和Plus版本,支持16种语言和20种方言,具备自然语言指令控制、细粒度标签控制及复杂声学鲁棒性。Plus版在权威榜单夺冠,并推出精品音色库,支持48K音频输出。

从“能说话”到“会表达”:Qwen-Audio-3.0-TTS 发布

实时互动网 实时互动网 · 2026-07-20T09:22:03Z
AI语音进入“表演时代”:阿里Qwen-Audio-3.0-TTS登顶全球权威榜单

阿里巴巴发布语音合成大模型Qwen-Audio-3.0-TTS,支持细粒度标签控制、20种方言和16种语言,覆盖多语种场景。模型分Flash和Plus版本,在权威榜单夺冠,具备高鲁棒性和48kHz高质量输出,适用于实时交互和严肃创作,已开放调用。

AI语音进入“表演时代”:阿里Qwen-Audio-3.0-TTS登顶全球权威榜单

量子位 量子位 · 2026-07-20T09:05:06Z
emoji 也能控制语音生成?Irodori-TTS 基于 RF-DiT 架构的日语 TTS;Eczema and Tinea Skin Disease 数据集:支持医学图像分类与迁移学习

Irodori-TTS是由开发者Aratako于2026年发布的日语语音合成项目,具有高保真音质和零样本声音克隆能力。核心模型Irodori-TTS-500M-v3支持48 kHz专业音频输出,用户只需提供3-10秒的参考音频即可精准复刻目标音色,并通过Emoji注释调节情绪和语调。

emoji 也能控制语音生成?Irodori-TTS 基于 RF-DiT 架构的日语 TTS;Eczema and Tinea Skin Disease 数据集:支持医学图像分类与迁移学习

HyperAI超神经 HyperAI超神经 · 2026-07-03T09:07:54Z
Fish TTS API 对接说明

Fish TTS API 是基于 Fish Audio 官方 TTS API 的接口,使用时需申请 API Token。请求格式为 POST,支持文本合成和音频格式选择(mp3 或 pcm)。可通过异步回调获取长文本合成结果,错误处理包括鉴权失败和参数错误。

Fish TTS API 对接说明

静觅 静觅 · 2026-06-19T21:16:18Z
AI 语音聊天机器人背后是怎么实现的,是 ASR + LLM + TTS 串起来吗,延迟怎么压下去

AI语音聊天机器人的实现依赖多个模块的协同,关键在于整体架构、流式串联、并行与预测、传输与端侧优化。通过优化各环节,端到端延迟可降低至700~900毫秒,接近真人对话速度。团队应明确延迟目标,利用成熟技术平台降低工程门槛,专注于对话逻辑创新。未来,随着技术进步,延迟有望进一步降低。

AI 语音聊天机器人背后是怎么实现的,是 ASR + LLM + TTS 串起来吗,延迟怎么压下去

实时互动网 实时互动网 · 2026-06-12T07:33:39Z
  • <<
  • <
  • 1 (current)
  • 2
  • 3
  • >
  • >>
👤 个人中心
在公众号发送验证码完成验证
登录验证
在本设备完成一次验证即可继续使用

完成下面两步后,将自动完成登录并继续当前操作。

1 关注公众号
小红花技术领袖公众号二维码
小红花技术领袖
如果当前 App 无法识别二维码,请在微信搜索并关注该公众号
2 发送验证码
在公众号对话中发送下面 4 位验证码
友情链接: MOGE.AI 九胧科技 1tok 菜鸟教程 Remio.AI DeekSeek连连 53AI 神龙海外代理IP IPIPGO全球代理IP 东波哥的博客 匡优考试在线考试系统 开源服务指南 蓝莺IM Solo 独立开发者社区 AI酷站导航 极客Fun 我爱水煮鱼 周报生成器 He3.app 简单简历 白鲸出海 T沙龙 职友集 TechParty 蟒周刊 Best AI Music Generator 模力方舟 Gitee AI

小红花技术领袖俱乐部
小红花·文摘:汇聚分发优质内容
小红花技术领袖俱乐部
Copyright © 2021-
粤ICP备2022094092号-1
公众号 小红花技术领袖俱乐部公众号二维码
视频号 小红花技术领袖俱乐部视频号二维码