阿里语音AI | 从重构到生成：音频解码器的设计与演进
内容提要
音频解码器将Mel频谱、离散token或连续潜表征重建为波形，主要通过重构训练建立。声码器（如HiFi-GAN、BigVGAN、Vocos）从声学特征合成波形；离散编解码器（如EnCodec、DAC）联合学习表征与重建；VAE保留连续潜空间。生成模型可复用这些解码器，或经DiT级联生成Mel、潜表征再解码。流式解码通过因果、有限前视与分块满足低时延；针对预测表征微调解码器可提升生成质量。
延伸解读
表征选择：重构保真与生成难度的权衡
文章指出，多层声学token保留较多语义和声学细节，但序列较长，增加生成模型学习压力；连续潜表征可通过时间降采样压缩序列，但帧率和维度需在信息保留、生成难度与计算量间取舍。这提示读者，解码器设计并非孤立，上游表征的形式直接影响生成系统的可行性与效率。
流式解码：时延控制的两个维度
流式解码需控制对未来信息的依赖，严格因果、有限前视和分块是三种方式。文章强调，减少扩散或流匹配的采样步数降低的是计算开销，而限制前视和块长减少的是条件等待，二者共同影响实际时延。历史状态缓存、上采样边界对齐和重叠处理有助于保持块间连续性。
预测表征微调：弥合训练与推理的差距
解码器训练时接收真实音频提取的表征，推理时却接收模型预测的表征，预测Mel的过平滑或潜表征偏差可能导致波形失真。针对预测表征微调解码器可减小质量损失。HiFi-GAN微调后MOS从3.91提升至4.18，但输出与输入预测Mel的谱差增大，说明改善听感有时需偏离预测条件中的失真。
Q&A
音频解码器的主要任务是什么？它通常如何获得波形重建能力？
音频解码器的主要任务是将给定的音频表征转换为时域波形。其波形重建能力通常首先通过重构训练获得：从真实音频中提取或编码表征，再训练解码器依据这些表征合成音频。
声码器有哪些典型模型？它们各自有什么特点？
典型声码器包括：HiFi-GAN（转置卷积上采样，多感受野残差模块，多周期/多尺度判别器）；BigVGAN（引入周期激活和抗混叠多周期模块，扩大生成器规模以改善泛化）；Vocos（预测傅里叶谱系数，通过iSTFT恢复波形）；DiffWave（以Mel为条件，在波形域通过扩散采样生成音频）；LPCNet（使用Bark尺度倒谱和音高参数，结合线性预测与循环神经网络）。
离散神经音频编解码器（如EnCodec、DAC）是如何工作的？
编码时，编码器将音频映射为连续特征，量化器（如RVQ）将其转换为离散token；解码时，通过码本查表得到嵌入，再交给波形解码器恢复波形。EnCodec采用RVQ，将多层token的码本嵌入相加，通过包含卷积、LSTM和上采样的解码器恢复波形，训练结合时域、频域重构目标与对抗损失。DAC同样采用卷积编码器—RVQ—解码器结构，结合周期激活、改进的码本学习以及多尺度频谱与对抗训练。
生成模型如何复用已有的音频解码器？请举例说明。
生成模型可以将重构阶段的表征作为预测目标，推理时上游生成模型产生这些表征，随后调用配套的波形解码器。例如：VALL-E以EnCodec的多层声学token为预测目标，生成后复用其解码器；Parler-TTS使用DAC将语言模型预测的多码本token转换为音频；F5-TTS通过流匹配生成Mel，再使用预训练的Vocos合成波形；Stable Audio 2在波形VAE的连续潜空间中训练DiT，推理时通过VAE解码器将生成潜表征转换为音频。
流式音频解码需要满足哪些要求？有哪些实现方式？
流式解码要求模型在获得部分条件后就能输出可播放的音频，并随着后续条件到达持续合成。为此需要控制对未来信息的依赖：严格因果模型只使用当前与历史条件；有限前视模型允许访问少量未来条件；分块模型按块组织计算，块内可使用双向上下文。实现方式包括：EnCodec采用因果填充和状态保留实现流式波形恢复；CosyVoice 3将流式执行扩展到级联语音合成，使用分块DiT流匹配生成Mel，再由Causal HiFT增量合成波形。
为什么需要针对生成模型预测的表征微调解码器？效果如何？
因为解码器训练时接收的是真实音频提取或编码的表征，推理时接收的却是模型预测的表征，预测Mel的过平滑、连续潜表征的局部偏差或分布不匹配可能导致波形失真。针对预测表征微调解码器可以减小这种条件变化带来的质量损失。例如：HiFi-GAN使用Tacotron 2预测的Mel微调后，MOS从3.91提升至4.18；MeanTok针对单步流模型生成的潜表征，仅微调VAE解码器便将MOS从3.35提升到3.70，联合微调生成器与解码器则达到3.85。
