本文介绍苹果Siri Expressive Voices背后的内存高效音频合成架构。该架构将语义音频令牌转换为RVQ表示,采用流式编码器、时间解码器和深度解码器三组件设计,通过可复用的扩散Transformer深度解码器生成所有RVQ级别,并使用因果滑动窗口注意力实现恒定内存复杂度。在AMX上运行速度比实时快16倍,峰值内存仅约21MB,显著提升语音质量,MOS评分提高0.28。
完成下面两步后,将自动完成登录并继续当前操作。