BLSP-KD：通过知识蒸馏引导语言 - 语音预训练
内容提要
本文介绍了一种轻量级的语言-语音预训练方法，利用知识蒸馏技术改善文本与音频的对齐，提出了PAD、L2KD、MiniLLM等新方法，在口语理解和语音识别任务中显著提升性能，有效解决了流式任务中的知识传递和模型适应问题。
延伸解读
知识蒸馏在语音-语言预训练中的核心作用
本文汇总的多项研究均围绕知识蒸馏展开，旨在将大型语言模型的能力迁移到语音任务中。PAD方法通过度量学习对齐文本与音频的嵌入，L2KD则利用教师模型传递新任务知识，缓解流式任务中的遗忘。这些方法共同表明，知识蒸馏是实现跨模态对齐和模型轻量化的有效途径，尤其在口语理解和语音识别中提升了性能。
流式任务与持续学习的挑战与应对
流式任务中模型需不断适应新任务且不遗忘旧知识，L2KD通过教师模型蒸馏新知识，使LLL模型在顺序生成和文本分类上表现优于先前最先进模型。类似地，audio-KD和seq-KD应用于编码器和解码器，在连续学习场景下降低了WER并增强了实体预测。这些方法为解决流式场景下的知识传递和模型适应提供了思路。
蒸馏方法的多样性与性能优化
文章提及多种蒸馏技术：MiniLLM利用KL散度防止学生模型高估教师低概率区域，DistiLLM引入倾斜KL损失和自适应离策略方法，实现最高4.3倍加速。SKILL通过层分组蒸馏，在30M参数模型上达到最先进结果。这些方法从不同角度优化学生模型，展示了知识蒸馏在效率与性能平衡上的潜力。
Q&A
BLSP-KD方法的主要目标是什么？
BLSP-KD方法旨在通过知识蒸馏技术改善文本与音频的对齐，提升语音识别和口语理解的性能。
什么是Prior-informed Adaptive knowledge Distillation (PAD)方法？
PAD方法是一种知识蒸馏技术，旨在改善文本与音频的嵌入向量对齐，增强模型之间的知识传递能力。
Lifelong Language Knowledge Distillation（L2KD）方法解决了什么问题？
L2KD方法解决了流式任务中的性能降低问题，通过知识蒸馏将新任务的知识传递给现有模型。
MiniLLM方法的优势是什么？
MiniLLM方法利用Kullback-Leibler散度，防止学生模型过度估计教师分布的低概率区域，从而优化模型性能。
DistiLLM框架的主要特点是什么？
DistiLLM框架适用于自回归语言模型，通过引入倾斜的Kullback-Leibler散度损失，构建高性能的学生模型，并获得显著的加速比。
如何通过知识蒸馏提升自我监督学习的效果？
通过SKILL方法进行知识蒸馏，可以在自我监督学习中提升模型的性能，尤其是在多个任务中表现优异。
