Auffusion: 利用扩散和大型语言模型提升文本到音频生成的能力

最新的扩散模型和大型语言模型在人工智能音频生成领域取得了重大进展。本研究引入了一种名为Auffusion的TTA系统，通过跨模态对齐改进了TTA任务的性能。研究结果显示Auffusion生成与文本描述准确匹配的音频的卓越能力，在音频风格转换、修复和其他操作中得到了验证。