BLSP-KD:通过知识蒸馏引导语言 - 语音预训练
原文中文,约300字,阅读约需1分钟。发表于: 。通过知识蒸馏,BLSP-KD 通过两个关键技术来优化语音 - 文本对齐质量,实现细粒度对齐,同时还引入了 LLM 的适应方法 PLoRA,通过定量评估说明了 BLSP-KD 在扩展 LLMs 到口语交互方面的优势。
L2KD方法解决LLL中的性能降低问题,通过知识蒸馏传递新任务知识给LLL模型,使其适应新任务并保留先前学习到的知识。实验证明L2KD在LLL任务中表现不俗,并在与multi-task模型性能对比方面有显著提升。