Auffusion: 利用扩散和大型语言模型提升文本到音频生成的能力
内容提要
本文综述2023年文本到音频生成研究进展：Flan-T5编码器结合声音混合增强优于AudioLDM；Make-an-Audio 2利用大语言模型提升语义与时间一致性；一致性蒸馏将查询减少400倍；AudioLDM基于CLAP潜在空间实现高质量零样本音频操作；DiffAVA利用视觉对齐生成个性化语音；Re-AudioLDM通过检索增强改善长尾数据；另有工作引入时间戳、音高、能量条件实现细粒度可控生成。
延伸解读
文本编码器与数据增强的协同改进
文章指出，采用指令调整的Flan-T5作为文本编码器，并结合基于声音压力级的声音混合进行训练集增强，使文本到音频生成效果优于AudioLDM。这表明，除了扩散模型本身，文本理解能力和数据多样性也是提升生成质量的关键因素。读者可关注编码器选择与数据增强策略如何共同影响语义对齐。
大语言模型提升语义与时间一致性
Make-an-Audio 2利用预训练大语言模型设计技术，提高语义一致性和时间一致性，并将大量音频标签数据转化为音频-文本数据集。实验显示其在客观和主观指标上均优于基线，尤其在时间信息理解、语义一致性和音质方面有显著进展。这提示大语言模型在音频生成的数据构建与语义控制中具有实用价值。
一致性蒸馏大幅降低查询成本
研究修改一致性蒸馏框架，训练只需单个神经网络查询的文本到音频模型，并在音频空间使用CLAP得分等新损失函数微调。结果在保留扩散模型高生成质量和多样性的同时，将查询次数减少400倍。这对关注生成效率与部署成本的读者有参考意义，说明蒸馏可在不牺牲质量的前提下显著提速。
检索增强与细粒度控制拓展应用
Re-AudioLDM通过检索到的音频-文本数据指导TTA模型学习，改善AudioLDM在长尾数据集上的性能，在AudioCaps上大幅超越现有方法。另一工作引入时间戳、音高和能量曲线作为补充条件，在保持预训练权重不变的情况下实现细粒度控制。两者分别从数据增强和条件控制角度提升了生成音频的实用性与可控性。
Q&A
Flan-T5 在文本到音频生成中有什么优势？
Flan-T5 作为基于指令调整的大型语言模型，被用作文本编码器，并通过基于声音压力级的声音混合进行训练集增强，从而取得了比 AudioLDM 更好的结果，成为生成文字描述音频任务中的最佳选择。
Make-an-Audio 2 如何提升语义和时间一致性？
Make-an-Audio 2 基于潜在扩散，利用预训练的大型语言模型设计技术来提高语义一致性和时间一致性，并利用 LLMs 将大量音频标签数据变成音频-文本数据集。实验证明其在客观和主观指标上均优于基线模型。
一致性蒸馏如何减少文本到音频生成的查询次数？
该研究修改一致性蒸馏框架，用于训练只需单个神经网络查询的 TTA 模型，并通过在音频空间中使用新的损失函数（如 CLAP 得分）微调一致性 TTA 模型，在保留扩散模型高生成质量和多样性的同时，将查询次数减少了 400 倍。
AudioLDM 系统有什么特点？
AudioLDM 是基于潜在空间的文本到音频系统，使用对比语音-语言预训练（CLAP）潜在信息学习连续音频表示，以文本嵌入作为采样条件，在生成质量和计算效率方面具有优势，实测效果接近官方记录，并可以进行零样本文本引导音频操作，如风格转移。
Re-AudioLDM 如何改善长尾数据上的性能？
Re-AudioLDM 提出一种简单的检索增强方法，通过使用检索到的音频文本数据指导 TTA 模型的学习，从而改善 AudioLDM 模型在长尾数据集上的性能。在 AudioCaps 数据集上，它以巨大优势超越现有方法，能够生成逼真音频并具备处理复杂场景、罕见音频类别甚至未见过音频类型的潜力。
如何实现对生成音频的细粒度控制？
通过包含额外条件（时间戳、语调曲线和能量曲线）作为文本的补充，增强现有预训练文本到音频模型的可控性，实现对生成音频的时间顺序、音高和能量的精细控制。使用可训练的控制条件编码器和融合网络，在保持预训练模型权重不变的同时编码和融合额外条件。
