Qwen2-Audio 技术报告
内容提要
本文介绍了Qwen-Audio模型，旨在提升音频理解能力，覆盖30多项任务和多种音频类型。通过多任务训练框架，Qwen-Audio在多个基准任务中表现优异，且无需特定任务微调。此外，基于此模型开发了Qwen-Audio-Chat，实现多轮对话，支持多种音频场景。
延伸解读
多任务训练中的干扰问题与解决方案
文章指出，直接同时训练所有音频任务和数据集可能引起干扰，因为不同数据集的文本标签在任务焦点、语言、注释粒度和文本结构上差异很大。Qwen-Audio 通过基于层次标签序列的条件设计解码器，构建多任务训练框架，利用共享和明确的标签促进知识共享并避免干扰。这一设计是模型能够覆盖 30 多项任务且无需特定任务微调的关键。
无需微调的通用音频理解能力
Qwen-Audio 在多个基准任务上表现优异，且不需要任何特定任务的微调，这降低了模型适配新任务的门槛。其预训练覆盖人类语音、自然声音、音乐和歌曲等多种音频类型，使其具备通用音频理解能力。基于此，Qwen-Audio-Chat 进一步支持多轮对话和多种音频场景，扩展了交互应用的可能性。
音频语言模型的发展背景
文章提及了音频语言模型领域的先前工作，如 WenetSpeech 大型普通话语音语料库、SQuId 多语言自然度预测模型、Wav2Seq 自监督预训练方法等。这些工作为音频理解提供了数据和模型基础，但缺乏能处理多种音频类型与任务的预训练音频模型。Qwen-Audio 通过扩大预训练规模来填补这一空白，推动通用音频理解的发展。
Q&A
Qwen-Audio模型的主要功能是什么？
Qwen-Audio模型旨在提升音频理解能力，覆盖30多项任务和多种音频类型。
Qwen-Audio是如何解决不同数据集间的干扰问题的？
Qwen-Audio通过设计一个多任务训练框架，使用基于层次标签序列的条件解码器来鼓励知识共享，避免干扰。
Qwen-Audio在基准任务中的表现如何？
Qwen-Audio在多个基准任务中表现优异，无需特定任务微调，超过了其对手。
Qwen-Audio-Chat的功能是什么？
Qwen-Audio-Chat支持多轮对话，能够接受来自不同音频和文本输入的输入，适用于多种音频场景。
Qwen-Audio模型覆盖了哪些音频类型？
Qwen-Audio模型覆盖了人类语音、自然声音、音乐和歌曲等多种音频类型。
Qwen-Audio的多任务训练框架有什么优势？
多任务训练框架避免了不同数据集间的干扰问题，促进了知识共享。
