SpeechVerse: 一个大规模可推广的音频语言模型
原文中文，约1800字，阅读约需5分钟。
📝
内容提要
本文提出了一种联合语音与语言模型（SLM），通过冻结预训练基础模型，仅训练简单适配器，提升语音识别和翻译性能。SLM展现出强大的零-shot能力，支持多样化任务，训练高效，能够弥合预训练模型间的表征差距。
🔎
延伸解读
参数高效训练策略
SLM 通过冻结预训练的语音和语言基础模型，仅训练一个包含 1%（156M）参数的简单适配器，实现了参数高效训练。这种方法最大限度地保留了基础模型的能力，同时显著降低了训练成本，为多模态模型的高效适配提供了新思路。
零样本多任务能力
SLM 展现出强大的零样本能力，能够完成上下文偏置语音识别、对话生成、语音延续和问答等多样化任务。这表明模型在未经过特定任务微调的情况下，也能泛化到新任务，为通用语音语言模型的发展提供了可能。
表征差距的弥合
研究表明，预训练的语音和语言模型之间的表征差距可能比预期要小，并可以通过简单的适应机制来弥合。这一发现挑战了传统观点，为未来多模态模型的设计提供了重要启示，即无需复杂结构即可实现跨模态对齐。
❓
Q&A
什么是联合语音与语言模型（SLM）？
SLM是一种多任务、多语种、双模态的模型，通过冻结预训练基础模型，仅训练简单适配器来提升语音识别和翻译性能。
SLM是如何提高语音识别和翻译性能的？
SLM通过冻结预训练基础模型，仅训练包含1%参数的简单适配器，从而提升语音识别和翻译的性能。
SLM的零-shot能力是什么？
SLM展现出强大的零-shot能力，能够在没有微调的情况下完成多样化任务，如上下文偏置语音识别和对话生成。
SLM的训练效率如何？
SLM训练高效，能够继承不同模态基础模型的强大能力，且只需训练少量参数。
SLM与传统模型相比有什么优势？
SLM通过简单适应机制弥合预训练模型间的表征差距，展现出更强的泛化能力和多样化任务处理能力。
SLM支持哪些类型的任务？
SLM支持多样化任务，包括上下文偏置语音识别、对话生成、语音延续和问答等。
🏷️
