BATON：用人类偏好反馈对齐文本到音频模型
内容提要
该文综述文本到音频生成研究，通过指令调整、检索增强、音频文本对齐及人类反馈提升生成质量与对齐度，提出Auffusion、Re-AudioLDM、AAI、Audiobox、DiffAVA等模型，实现音频生成、编辑、风格化及个性化语音合成，并引入AV-Align等评估指标。
延伸解读
人类反馈对齐在文本到音频中的实践
文章介绍了通过指令调整模型改写提示文本，并利用文本音频对齐作为反馈信号，通过边界排序学习来改善音频质量和文本音频对齐。这种方法在客观和主观评估中均显示出明显改善。这为文本到音频生成提供了一种基于人类偏好的优化思路，但文章未提及具体实现细节和评估指标。
检索增强提升长尾数据表现
针对文本到音频生成在长尾数据集上的性能问题，文章提出了一种简单的检索增强方法，通过检索到的音频文本数据指导TTA模型学习。改进后的Re-AudioLDM在AudioCaps数据集上以巨大优势超越现有方法，能够生成逼真音频并处理复杂场景、罕见类别甚至未见过类型。这表明检索增强能有效提升模型泛化能力。
统一框架实现声音引导图像生成
文章提出了AAI框架，将输入声音转换为声音令牌，并利用现有扩散式T2I模型，实现声音引导的图像生成、编辑和风格化。实验表明AAI优于其他最先进的文本和声音引导方法。这一方法经济便捷，为跨模态生成提供了新思路，但文章未详细说明其具体实现和局限性。
评估指标与对齐性关注
文章在多个模型中强调了文本音频对齐的重要性，并提出了AV-Align等评估指标来衡量生成视频与输入音频的对齐性。例如，在视频生成中，AV-Align用于评估内容和时间轴的对齐。这些指标有助于客观评价生成质量，但文章未深入讨论其适用范围和局限性。
Q&A
BATON 是什么？它如何利用人类偏好反馈来改进文本到音频生成？
BATON 是一种通过人类偏好反馈对齐文本到音频模型的方法。它使用指令调整模型改写提示文本，并利用文本音频对齐作为反馈信号，通过边界排序学习来改善音频质量和文本音频对齐，在客观和主观评估中均观察到明显改善。
Re-AudioLDM 在文本到音频生成中有什么优势？
Re-AudioLDM 是一种检索增强的文本到音频生成方法，通过使用检索到的音频文本数据指导 TTA 模型学习，改善了 AudioLDM 在长尾数据集上的性能。在 AudioCaps 数据集上，它以巨大优势超越现有方法，能生成逼真音频，并具备处理复杂场景、罕见音频类别甚至未见过音频类型的潜力。
AAI 框架如何实现声音引导的图像生成、编辑和风格化？
AAI（Align, Adapt, and Inject）是一个统一框架，用于基于声音进行图像生成、编辑和风格化。它将输入声音转换为声音令牌，并利用现有强大的扩散式文本到图像模型，实现方便且经济的声音引导图像操作。实验表明，AAI 优于其他最先进的文本和声音引导方法。
Auffusion 系统在文本到音频生成中有什么创新？
Auffusion 是一种文本到音频生成系统，借鉴最先进的文本到图像扩散模型，利用其固有生成能力和精确跨模态对齐来改进 TTA 任务。它在有限数据和计算资源下优于先前 TTA 方法，并通过消融研究和交叉注意力图可视化深入评估文本音频对齐，还能应用于音频风格转换、修复等任务。
DiffAVA 如何实现视觉对齐的个性化文本转语音生成？
DiffAVA 是一种基于视觉对齐的个性化文本转语音生成方法。它使用多头注意力变换器聚合视觉特征的时间信息，利用双模残差网络融合时间视觉表示与文本嵌入，并采用对比学习目标匹配视觉对齐的文本嵌入和音频特征。结果表明，DiffAVA 在视觉对齐的文本转音频生成方面具有竞争力的表现。
AV-Align 是什么？它用于评估什么？
AV-Align 是一种新的评估度量，用于评估生成视频与输入音频样本的对齐性。它是在基于音频引导文本到视频生成的研究中提出的，该研究采用轻量级适配器网络将音频基础表示映射到文本-视频生成模型所期望的输入表示，实现文本、音频以及文本和音频生成视频。
