Qwen-Audio是一个扩大音频语言预训练规模的模型，能够处理各种音频类型和任务，提高通用音频理解能力。通过多任务训练框架，Qwen-Audio在多个基准任务上表现出色，无需特定任务的微调。作者还开发了Qwen-Audio-Chat，支持多轮对话和以音频为中心的场景。

Qwen-Audio模型通过扩大音频语言预训练规模，覆盖30多项任务和各种音频类型，提升通用音频理解能力。它采用多任务训练框架，基于层次标签序列的条件设计，鼓励知识共享和避免干扰。Qwen-Audio在多个基准任务上表现出色，无需特定任务微调。同时，还介绍了Qwen-Audio-Chat，支持多轮对话和以音频为中心的场景。

Qwen-Audio模型通过扩大音频语言预训练规模，提高通用音频理解能力。多任务训练框架鼓励知识共享和避免干扰。Qwen-Audio在多个基准任务上表现出色，无需特定任务微调。Qwen-Audio-Chat支持多轮对话和以音频为中心的场景。

本文评估了无监督和监督的句子嵌入训练对语言编码器质量和交叉模态任务性能的影响。研究发现，句子嵌入训练有助于提高对比视觉-语言模型的性能，但在音频-语言预训练中效果较少。句子嵌入训练改善了文本空间的均匀性，但降低了交叉模态对齐性。