FlashTTS：面向实时语音对话的低时延流式语音合成 | Interspeech 2026
内容提要
西工大团队提出FlashTTS，一种面向实时语音对话的低时延流式TTS框架。它通过滞后式多轨架构支持流式文本输入，利用Multi-Token Prediction加速语音token生成，并采用X-pred Mean Flow Distillation将声学解码压缩至2步。实验显示，FlashTTS将首包延迟降至325ms，同时保持较好的零样本音色克隆和多语言可懂度，为实时语音助手等应用提供高效基础。
延伸解读
延迟瓶颈的三个来源
文章指出，现有基于LLM的TTS系统在实时对话中面临三个关键瓶颈：句级缓冲导致等待时间、自回归token预测慢、多步声学解码增加延迟。FlashTTS分别通过滞后式多轨架构、Multi-Token Prediction和X-pred Mean Flow Distillation来应对，这提示读者，降低端到端延迟需要从输入、生成和解码三个环节协同优化，而非仅靠单一技术。
速度与质量的权衡
实验显示，FlashTTS在2-NFE下首包延迟最低（325ms），但3-NFE通常带来更好的主观质量和音色相似度；MTP-3在速度与质量间平衡较好，而MTP-5虽提升吞吐率却导致质量下降。这表明，追求更低延迟可能牺牲合成质量，实际部署时需根据应用场景（如实时助手vs离线合成）选择合适的配置。
流式输入的设计思路
FlashTTS采用stacked and lagged multi-track结构，将文本、语音和语言条件组织为并行轨道，使模型能边接收文本边生成语音，避免等待完整句子。这种设计对上游LLM的流式输出更友好，也提示开发者，在构建实时语音对话系统时，TTS与LLM的接口设计（如是否支持流式输入）对整体延迟有重要影响。
Q&A
FlashTTS是什么？它主要解决什么问题？
FlashTTS是西北工业大学ASLP实验室提出的一种面向实时语音对话的低时延流式语音合成框架。它主要解决现有基于LLM的TTS系统在实时对话场景中面临的三个关键瓶颈：句级文本缓冲导致的首包延迟高、自回归speech token预测慢、以及多步声学解码带来的端到端延迟。
FlashTTS如何实现流式文本输入？
FlashTTS采用滞后式多轨架构（stacked and lagged multi-track structure），将输入组织为多个并行轨道，包括speech track、text track和language track。这种设计使模型能够随着文本输入逐步生成语音，无需等待完整句子，从而原生支持流式文本输入。
FlashTTS使用了哪些技术来降低延迟？
FlashTTS通过三种技术降低延迟：1）滞后式多轨架构支持流式输入，减少句级缓冲；2）Multi-Token Prediction（MTP）并行预测多个未来speech token，加速自回归生成；3）X-pred Mean Flow Distillation将token-to-mel解码压缩到2步，减少声学解码时间。
FlashTTS的首包延迟是多少？相比CosyVoice2降低了多少？
FlashTTS在2-NFE和MTP-3设置下的首包延迟（FPL）为325ms，而CosyVoice2在10-NFE设置下的FPL为843ms，降低了约518ms。
FlashTTS支持哪些语言？在zero-shot音色克隆方面表现如何？
FlashTTS支持中文、英文、日文、韩文、法文和德文等多语言。在zero-shot音色克隆方面，它在中文和英文上取得较低WER，并保持较好的音色相似度，但部分语言（如法文、德文）的SIM仍落后于大型离线商业模型。
FlashTTS的训练数据是什么？模型结构有哪些关键参数？
FlashTTS使用约30万小时开源语音数据训练，包括Emilia、Emilia-Yodas、LibriHeavy和WenetSpeech4TTS。模型采用Qwen2.5-0.5B作为语言模型主干，隐藏维度896，24层Transformer，14个attention heads；声学解码部分为16层Diffusion Transformer的X-pred MeanFlow模块，参数量约159M，并接入24kHz HiFi-GAN vocoder。
FlashTTS的消融实验揭示了哪些模块的重要性？
消融实验显示：去除X-pred Mean Flow后，加速比例明显下降，说明少步解码是降低延迟的关键；去除MTP后，速度提升大幅降低，说明MTP是缓解自回归瓶颈的核心；去除Language ID会明显增加WER，说明语言条件对多语言稳定性很重要。
FlashTTS有哪些局限性？未来有哪些改进方向？
FlashTTS的局限性包括：质量与速度存在权衡（2-NFE延迟低但质量略差，3-NFE质量好但延迟稍高）；MTP分支数量需要更稳健的控制（MTP-5可能损害质量）；部分语言上的音色保持和可懂度仍有提升空间。未来可研究自适应NFE、更可靠的speculative decoding验证机制，以及更大规模多语言数据训练。
