缩小大型语言模型中文本与语音理解之间的差距
💡
原文英文，约300词，阅读约需1分钟。
📝
内容提要
大型语言模型（LLMs）在语音输入方面的表现不如文本输入，导致文本与语音理解之间存在差距。为缩小这一差距，研究提出了SALAD方法，通过交叉模态蒸馏和有针对性的合成数据，提升模型对齐性并减少遗忘。该方法在知识、语言理解和推理任务上表现优异，且所需语音数据显著减少。
🎯
关键要点
- 大型语言模型（LLMs）在语音输入方面的表现不如文本输入，存在文本与语音理解之间的差距。
- 这种差距被称为文本-语音理解差距，即语音适应的LLM在处理语音输入时的性能下降。
- 现有方法要么依赖于大规模的语音合成文本语料库，要么依赖于大型专有语音数据集，这些方法成本高且不可重复。
- 需要更高效的数据替代方案来缩小文本-语音理解差距。
- 研究分析了导致差距的两个因素：适应过程中文本能力的遗忘和语音与文本之间的跨模态不对齐。
- 提出了SALAD方法，通过交叉模态蒸馏和有针对性的合成数据来提高模型对齐性并减少遗忘。
- SALAD在知识、语言理解和推理任务上表现优异，且所需的语音数据显著减少。
➡️
