FreGrad：轻量级高速频率感知扩散语音合成器
内容提要
本文综述了多种语音生成扩散模型：WaveGrad以梅尔频谱为条件生成高保真波形；InferGrad将推断融入训练，提速3倍；WaveGrad 2实现非自回归语音合成；小波扩散方案缩小了与GAN的速度差距；DiffWave高效生成高保真音频；Fre-GAN实现频率一致合成；多带扩散模型可生成任意音频；Grad-TTS灵活平衡音质与速度；FastDiff提速58倍；FloWaveNet单阶段实时输出清晰音频。
延伸解读
扩散模型在语音合成中的演进脉络
文章按时间顺序梳理了从WaveGrad到FastDiff等多款扩散语音模型，呈现出一条清晰的演进线索：早期WaveGrad以梅尔频谱为条件生成波形，后续InferGrad将推断融入训练以减少迭代次数，WaveGrad 2转向非自回归语音合成，小波扩散方案则致力于缩小与GAN的速度差距。这些工作共同围绕音质与速度的平衡展开，读者可借此理解扩散模型如何逐步从高保真但较慢，走向更实用的实时合成。
速度优化是贯穿多款模型的核心议题
文中多处强调推理速度：InferGrad在保持相同语音质量的同时加速3倍，FastDiff实现高达58倍的提速，小波扩散方案旨在缩小扩散模型与GAN模型之间的速度差距，Grad-TTS也强调可在音质与推理速度之间灵活平衡。这表明扩散语音合成的主要瓶颈之一在于迭代采样耗时，不同模型分别从训练策略、网络结构和采样方案入手应对，读者评估模型时应同时关注其加速手段与质量代价。
音质评价与对比基准的多样性
文章在介绍各模型时使用了不同的对比对象和评价方式：WaveGrad称超越对抗样本和自回归模型，DiffWave在音频质量上显著优于其他自回归和GAN-based波形模型，Fre-GAN在质量和MOS上优于标准模型，Grad-TTS则以主观人评的Mean Opinion Score与先进文本转语音方法竞争。这些表述说明各模型的优势往往相对于特定基线而言，读者不宜脱离对比条件直接横向比较不同模型的音质结论。
Q&A
WaveGrad 是如何生成语音波形的？
WaveGrad 是一种基于分数匹配和扩散概率模型的条件模型，它使用梅尔频谱来限制采样过程，并通过调整迭代次数来平衡生成质量和速度。实验表明它能生成高保真音频，超越对抗样本和自回归模型。
InferGrad 相比 WaveGrad 有哪些改进？
InferGrad 将推断过程融入训练过程中以减少推断迭代次数，从而提高合成语音的质量。实验表明，在相同条件下，InferGrad 比 WaveGrad 获得更好的语音质量，并且在保持相同语音质量的同时加速了 3 倍（InferGrad 的 2 次迭代速度比 WaveGrad 的 6 次迭代更快）。
DiffWave 模型有什么特点？
DiffWave 是一种用于条件和非条件波形生成的多功能扩散概率模型。它通过马尔可夫链将白噪声信号转化为结构化波形，并通过特定的数据似然变分界限进行优化训练。DiffWave 在各种波形生成任务中均能生成高保真度音频，并在音频质量方面显著优于其他自回归和 GAN 基波形模型。
Grad-TTS 如何平衡音质和推理速度？
Grad-TTS 是一款使用基于得分的解码器的文本转语音模型，使用随机微积分的方法将通过噪声预测的语音信号和文本输入进行逐步变换，从而实现噪声到语音的重建，并能够在保持音质、推理速度之间进行灵活平衡。主观人评表明 Grad-TTS 在 Mean Opinion Score 方面具有与最先进的文本转语音方法相竞争的能力。
FastDiff 在语音合成中的速度有多快？
FastDiff 是一种快速条件扩散模型，通过应用时间感知的位置可变卷积和噪声预测器，实现了高质量语音合成，并在端到端文本到语音合成中实现了高保真度的语音波形生成，速度快达 58 倍。
FloWaveNet 与其他模型相比有什么独特之处？
FloWaveNet 是一种基于可逆流的生成模型，使用单阶段训练程序和单个最大似然损失函数，无需附加的辅助项，能实时高效地输出与先前两阶段并行模型相媲美的清晰音频。
