IndexTTS 2.5 让声音跨越语言
内容提要
B站发布IndexTTS 2.5语音合成模型，支持中英日西阿五语种零样本配音，推理速度提升2.28倍，并增强跨语言情绪还原与语速控制。团队通过降低语义帧率、换用Zipformer架构及GRPO强化学习优化性能，在情感迁移和说话人相似度上表现优异，旨在让创作者用任意声音、语言和情绪进行配音。
延伸解读
多语言共享字符的挑战
文章指出，多语言TTS的一大难点是跨语言共享字符，例如日语中的汉字，模型需要判断按中文还是日文发音。团队对比了三种建模策略，发现没有银弹，各策略互补。这提醒读者，多语言语音合成并非简单扩展语种，还需解决字符歧义等深层问题，对技术选型有参考价值。
推理速度提升的工程细节
IndexTTS 2.5通过降低语义帧率（50Hz到25Hz）和更换更轻量的Zipformer架构，实现了约2.28倍的推理加速。值得注意的是，主观盲测中Zipformer反而更受欢迎，说明复杂模型未必更好。这为语音合成系统的效率优化提供了实际案例，也提示在追求速度时需兼顾主观听感。
强化学习在语音合成中的应用
团队将GRPO强化学习引入T2S模块后训练，以ASR词错误率和说话人相似度为奖励，让模型自我优化。结果显示五语言平均WER从6.75%降至6.00%，说话人相似度提升。这表明强化学习能有效提升语音合成的准确性和相似度，尤其对英、日、阿语效果明显，为后续研究提供了新思路。
情感迁移的跨语言表现
尽管情感训练数据仅含中英文，IndexTTS 2.5仍能将情感迁移到其他语言，如阿语情感测试MOS达4.18/5，中文情感识别准确率显著高于CosyVoice3。这体现了情感、音色和语种的解耦能力，对多语言配音应用具有实际意义，但需注意其情感训练数据有限，可能影响某些语言的情感表现。
Q&A
IndexTTS 2.5 支持哪些语言？
IndexTTS 2.5 支持中文、英语、日语、西班牙语和阿拉伯语五种语言，并支持零样本配音。
IndexTTS 2.5 相比上一代在推理速度上提升了多少？
IndexTTS 2.5 通过降低语义帧率和更换架构，整体推理速度提升了约 2.28 倍。
IndexTTS 2.5 是如何实现跨语言情感迁移的？
IndexTTS 2.5 通过 GRPO 强化学习后训练，以及情感与音色解耦的设计，使得模型能够将情感从一种语言迁移到另一种语言，例如用中文情感语音生成西班牙语的情感语音。
IndexTTS 2.5 在训练数据上做了哪些工作？
团队构建了自动化数据管线，包括带事件分类的 VAD 切分、一体化 ASR、选择性音源分离和片段合并，最终收集了约 15 万小时多语言语料和 135 小时情感语音。
IndexTTS 2.5 在情感迁移评测中的表现如何？
在阿拉伯语情感测试中（使用日语 prompt 的极限设定），MOS 达到 4.18/5；在 CV3-Eval 情感零样本基准上，中文情感识别准确率为 0.713，显著高于 CosyVoice3 的 0.467。
IndexTTS 2.5 的推理速度优化具体采用了哪些技术？
主要采用了两个技术：一是将语义 Codec 帧率从 50Hz 降到 25Hz，使序列长度减半；二是将 S2M 模块的主干从 U-DiT 换成 Zipformer，参数更少、生成更快。
IndexTTS 2.5 在零样本语音克隆评测中的表现如何？
在五种语言的零样本语音克隆评测中，IndexTTS 2.5 的平均说话人相似度最高，但 WER 比 Fish Audio S2 Pro 略差，整体处于第一梯队。
