DisMix：为源级音高和音色操控解构多种音乐乐器的混合
内容提要
本文介绍了多种基于深度学习的音乐生成和分离模型，如最大熵原理、变分自编码器和扩散模型。这些模型能够实现音乐创作、风格转换和高质量音频重建，推动了音乐生成技术的发展。
延伸解读
技术演进脉络
文章按时间顺序梳理了2016年至2024年音乐生成与分离模型的发展，从最大熵统计模型到变分自编码器、Transformer、扩散模型，展现了深度学习在音乐领域从简单生成到精细控制的演进路径。
核心任务与模型对应
不同模型针对不同任务：EC2-VAE解决音乐片段间的类比生成，VAE分离模型实现和弦与纹理的可控分离，Polyffusion和Diff-A-Riff专注于可控音乐生成，Timbre-Trap统一转录与重建，多源扩散模型推广至任意时域。
可控生成与零样本学习
多个模型强调可控性，如Polyffusion通过内部和外部控制范式生成乐谱，Diff-A-Riff通过音频参考和文本提示控制伴奏生成。三合一统一模型采用pitch-timbre分离模块实现零样本学习，减少对标注数据的依赖。
效率与性能优化
新型Transformer解码器采用扩展-压缩技巧提高学习速度，多轨音乐表示在实时即兴演奏中具有速度和内存优势，Diff-A-Riff显著减少推断时间和内存使用，Timbre-Trap仅需少量标注数据即可媲美先进方法。
Q&A
DisMix使用了哪些深度学习模型来生成音乐？
DisMix使用了最大熵原理、变分自编码器和扩散模型等深度学习模型来生成音乐。
什么是显式约束的变分自编码器(EC2-VAE)？
显式约束的变分自编码器(EC2-VAE)是一种用于解决不同音乐片段之间类比生成问题的模型，能够将高层次表示转移到其他音乐片段上。
Polyffusion扩散模型的主要优势是什么？
Polyffusion扩散模型通过将音乐视为图像样的钢琴卷轴生成重音乐谱，实验结果显示其优于现有模型，支持可控生成。
Timbre-Trap框架的功能是什么？
Timbre-Trap框架将音乐转录和音频重建相统一，利用音高和音色的分离性来提高性能。
Diff-A-Riff音乐生成方法的特点是什么？
Diff-A-Riff方法通过音频参考和文本提示生成高质量器乐伴奏，显著减少推断时间和内存使用。
新型多轨音乐表示方式的优势是什么？
新型多轨音乐表示方式支持多种乐器的实时即兴演奏，具有速度和内存占用的优势。
