本文介绍苹果Siri Expressive Voices背后的内存高效音频合成架构。该架构将语义音频令牌转换为RVQ表示，采用流式编码器、时间解码器和深度解码器三组件设计，通过可复用的扩散Transformer深度解码器生成所有RVQ级别，并使用因果滑动窗口注意力实现恒定内存复杂度。在AMX上运行速度比实时快16倍，峰值内存仅约21MB，显著提升语音质量，MOS评分提高0.28。
该文章介绍了一种多阶段、多码本的高效神经TTS合成方法，使用VQ-VAE编码语音训练数据的Mel频谱图，并通过多阶段逐渐下采样，将其量化为多个具有不同时间分辨率的MSMC表示。神经声码器将预测的MSMCR转换为最终语音波形。实验证明，该方法在英语TTS数据库中性能优于基准值，同时低参数的紧凑版本也能保持高性能。
完成下面两步后，将自动完成登录并继续当前操作。
