快速时序条件下的音频扩散
内容提要
该文综述音频生成研究进展，包括：提出Make-an-Audio 2提升语义与时间一致性；采用Flan-T5编码器增强训练；开发基于音频自编码器和潜在扩散的可控音轨生成系统以实现音色控制；提出扩散模型精细控制时间、音高与能量；Foley声音生成系统在DCASE 2023任务7夺冠；以及级联潜在扩散生成高质量立体声音乐。
延伸解读
音频扩散模型的技术演进
从Make-an-Audio 2到级联潜在扩散，音频扩散模型在语义一致性、时间控制和音质上持续进步。Make-an-Audio 2利用大语言模型增强语义与时间一致性；Flan-T5编码器提升文本理解；可控音轨生成系统实现音色控制；精细控制模型引入时间戳、音高和能量条件；Foley系统在DCASE 2023任务7夺冠；级联潜在扩散生成高质量立体声音乐。这些工作共同推动了音频生成向更可控、更高质量方向发展。
可控生成的关键技术
实现精细控制是音频生成的重要挑战。研究通过引入额外条件（如时间戳、语调曲线和能量曲线）作为文本补充，在保持预训练模型权重不变的情况下，使用可训练的控制条件编码器和融合网络，实现了对生成音频时间顺序、音高和能量的精细控制。此外，音色控制通过将潜在空间与参考样式关联，并在扩散采样期间应用无分类器引导避免失真，为音乐制作提供了实用工具。
数据与评估的挑战
音频生成领域面临数据不足和评估指标缺乏的挑战。为训练可控模型，研究者将现有数据集整合成包含音频和条件的新数据集，并设计了一系列评估指标。Foley声音生成系统通过CLAP迁移学习缓解数据不足，在DCASE 2023任务7中排名第一。这些实践表明，数据增强和迁移学习是提升性能的有效策略，但领域仍需更丰富的标注数据和标准化评估方法。
Q&A
Make-an-Audio 2 是如何提升音频生成的语义一致性和时间一致性的？
Make-an-Audio 2 基于潜在扩散，使用预训练的大型语言模型（如 Flan-T5）作为文本编码器，并利用 LLMs 将大量音频标签数据转化为音频-文本数据集，从而提升语义一致性和时间一致性。
Flan-T5 在音频生成中起到了什么作用？
Flan-T5 作为基于指令调整的大型语言模型，被用作文本编码器，通过使用基于声音压力级的声音混合进行训练集增强，从而在生成文字描述音频的任务中取得了比 AudioLDM 更好的结果。
如何实现可控音轨生成并控制音色？
通过音频自编码器将音频波形压缩为可逆的潜在表示，并使用条件化的潜在扩散模型生成对应音轨的潜在编码。在扩散采样期间，将潜在空间与用户提供的参考样式关联，从而控制音色。同时使用无分类器引导避免失真。
扩散模型如何实现对音频时间、音高和能量的精细控制？
通过引入额外条件（时间戳、语调曲线和能量曲线）作为文本的补充，使用可训练的控制条件编码器和融合网络，在保持预训练文本转音频模型权重不变的情况下，将额外条件编码和融合，从而实现对时间顺序、音高和能量的精细控制。
Foley 声音生成系统在 DCASE 2023 任务7中取得了什么成绩？
该基于扩散模型的 Foley 声音生成系统使用文本条件进行预测，通过 CLAP 技术的迁移学习进行预训练以缓解数据不足，在 DCASE Challenge 2023 任务7中排名第一。
级联潜在扩散方法在音乐生成中有什么应用？
该方法用于根据文本描述生成高质量的立体声音乐，并开源了相关代码和音频样本以促进未来研究。
