Tango 2: Aligning Diffusion-Based Text-to-Audio Generation through Direct Preference Optimization
原文英文，约100词，阅读约需1分钟。
📝
内容提要
本研究提出了一种名为Auffusion的文本转音频系统，利用先进的扩散模型和大型语言模型，显著提升了生成质量和文本音频对齐能力。实验表明，该方法在有限数据和计算资源下优于以往技术，尤其在音频风格转换任务中表现卓越。
🔎
延伸解读
文本编码器的选择与数据增强
Auffusion 采用基于指令调整的大型语言模型 Flan-T5 作为文本编码器，并通过基于声音压力级的声音混合进行训练集增强。这种设计使其在文本到音频生成任务中取得了比 AudioLDM 更好的结果，成为该任务中的最佳选择。
跨模态对齐的评估方法
研究通过客观和主观评估验证了 Auffusion 的性能，并进行了关于交叉模态对齐的全面消融研究和创新的交叉注意力图可视化。这些评估深入揭示了模型在文本音频对齐方面的能力，表明其能生成与文本描述准确匹配的音频。
在有限资源下的性能优势
实验表明，Auffusion 在使用有限的数据和计算资源时优于先前的 TTA 方法。这一优势在音频风格转换、修复和其他操作等任务中得到了进一步验证，显示了其高效性和泛化能力。
❓
Q&A
Auffusion系统的主要功能是什么？
Auffusion系统主要用于文本转音频生成，显著提升生成质量和文本音频对齐能力。
Auffusion在音频风格转换任务中的表现如何？
Auffusion在音频风格转换任务中表现卓越，优于以往技术。
该研究是如何验证Auffusion的性能的？
研究通过客观和主观评估验证了Auffusion的性能，显示其生成与文本描述准确匹配的音频能力。
Auffusion相较于以往技术的优势是什么？
Auffusion在有限数据和计算资源下优于以往技术，特别是在生成质量和对齐能力方面。
研究中提到的交叉模态对齐是什么？
交叉模态对齐是指在文本与音频之间实现精确的对齐，以提高生成的音频与文本描述的一致性。
Auffusion的实现和演示在哪里可以找到？
Auffusion的实现和演示可以在指定的URL上访问。
🏷️
