DITTO: 音乐生成的扩散以及推理时间下的 T 优化
内容提要
该文综述扩散模型在音频及相关领域的多项研究：改进一致性蒸馏实现单次查询TTA，查询减少400倍；提出TransFusion用于语音识别；Diff-TTS非自回归语音合成，比实时快28倍；级联潜在扩散生成文本到立体声音乐；Bridge-TTS以确定性先验替代高斯先验；文本生成加速100至200倍；DITTO-NeRF由文本或单图生成3D NeRF；HiFi Tuner提升个性化图像生成保真度；CDCD损失增强条件生成对应性；文本到音乐模型结合节拍同步数据增强提升质量与多样性。
延伸解读
扩散模型在音频领域的多任务渗透
文章综述了扩散模型在语音识别、语音合成、音乐生成和3D重建等多个音频相关任务上的应用。从时间跨度看，这些工作集中在2021至2023年，说明扩散模型正从图像生成快速向音频领域扩展。读者可以注意到，不同任务对扩散模型的改造重点不同：语音识别侧重条件建模，语音合成侧重采样加速，音乐生成侧重数据增强与版权规避。
推理加速是贯穿多项研究的共同主线
文中多项工作都涉及推理效率：一致性蒸馏将查询次数减少400倍，Diff-TTS比实时快28倍，文本生成加速100至200倍。这些数字表明，扩散模型的主要瓶颈之一在于采样步数过多，而蒸馏、确定性先验和桥接训练是当前常见的加速思路。不过，加速幅度因任务和基线不同而差异很大，读者不宜直接横向比较这些倍数。
音乐生成中的版权与数据增强策略
针对文本到音乐任务，文章提到通过节拍跟踪和拍子同步音频混合、拍子同步潜在混合两种数据增强策略来重组训练数据，以应对数据不足、版权和抄袭问题。这一思路的核心是在不直接复制原始音频的前提下增加训练多样性，同时保持风格一致。评估上使用了基于对比语音-音频预训练模型的指标，说明生成质量与文本对应关系是重点考察维度。
Q&A
DITTO 如何将扩散模型的查询次数减少 400 倍？
DITTO 修改了最近提出的一致性蒸馏框架，用于训练只需要单个神经网络查询的 TTA 模型，同时通过在音频空间中使用新的损失函数（如 CLAP 得分）对一致性 TTA 模型进行微调，从而在保留扩散模型高生成质量和多样性的同时，将查询次数减少了 400 倍。
Diff-TTS 的合成速度有多快？
Diff-TTS 是一种非自回归 TTS 模型，实验证明其单独搭载一枚 NVIDIA 2080Ti 显卡比实时生成快 28 倍，并且质量良好。
Bridge-TTS 相比传统扩散 TTS 有什么创新？
Bridge-TTS 将已建立的基于扩散的 TTS 方法中的嘈杂高斯先验替换为干净的确定性先验，实现了对目标的强结构信息的首次替代。
DITTO-NeRF 能用来做什么？
DITTO-NeRF 是一种新型流水线，用于从文本提示或单个图像生成高质量的 3D NeRF 模型，并通过逐步重建规模、角度和遮罩等方案来解决 Image-to-3D 方法的低对应性和多视图一致性问题，在保留微小边界角度信息的情况下，实现对 NeRF 模型的高保真度和多样性重建。
HiFi Tuner 在个性化图像生成中提升了哪些指标？
HiFi Tuner 通过仅在文本嵌入上进行微调，CLIP-T 得分提高了 3.6 分，DINO 得分提高了 9.6 分；当对所有参数进行微调时，HiFi Tuner 在 CLIP-T 得分上提高了 1.2 分，在 DINO 得分上提高了 1.2 分，达到了新的技术水平。
文本到音乐生成中如何解决数据不足和版权问题？
通过构建一种文本到音乐模型，并利用分布式扩散模型和音频广义线性模型来进行训练以生成新音乐，解决了音乐生成过程中的数据不足、版权和抄袭等问题。同时通过节拍跟踪和两种不同的数据增强策略（拍子同步音频混合和拍子同步潜在混合），实现对训练数据的重组，从而生成多样化且保持风格一致的音乐。
