本文介绍苹果Siri Expressive Voices背后的内存高效音频合成架构。该架构将语义音频令牌转换为RVQ表示,采用流式编码器、时间解码器和深度解码器三组件设计,通过可复用的扩散Transformer深度解码器生成所有RVQ级别,并使用因果滑动窗口注意力实现恒定内存复杂度。在AMX上运行速度比实时快16倍,峰值内存仅约21MB,显著提升语音质量,MOS评分提高0.28。
该文综述向量量化(VQ)在语义通信与生成模型中的应用:VQ-DeepSC利用CNN提取多尺度语义特征,经VQ兼容数字通信,并结合PatchGAN对抗训练提升图像质量,鲁棒性优于BPG,MS-SSIM与DeepJSCC相当;其他研究涵盖噪声鲁棒性、多码本量化压缩教师模型、MSMC高效TTS合成、CVQ-VAE缓解码本坍塌、可变长度编码图像生成及VQGAN低比特率图像压缩。
完成下面两步后,将自动完成登录并继续当前操作。