本文探讨了多种音频语言模型的进展,包括Mockingjay、wave2vec2.0和Qwen-Audio等。这些模型在语音理解、文本到音频生成及多轮对话方面表现优异,尤其是Qwen-Audio通过多任务训练框架显著提升了音频理解能力。此外,AIR-Bench基准为评估音频模型的交互能力提供了新方法,推动了该领域的发展。
该文综述文本到音频生成研究,通过指令调整、检索增强、音频文本对齐及人类反馈提升生成质量与对齐度,提出Auffusion、Re-AudioLDM、AAI、Audiobox、DiffAVA等模型,实现音频生成、编辑、风格化及个性化语音合成,并引入AV-Align等评估指标。
完成下面两步后,将自动完成登录并继续当前操作。