实时语音通话早期媒体分类的知识蒸馏

通过generation-distillation训练方法，利用大型fine-tuned语言模型生成无标签训练数据，缩小了预先训练LM和小型特定任务模型之间的性能差距。

知识蒸馏技术能有效压缩模型参数量，实现与BERT可比的性能。

研究了卷积神经网络和自注意力机制模型之间的交互作用，通过知识蒸馏在多个数据集上取得了新的最好成绩。

提出了一种从音频语音识别系统向视觉语音识别器转移技术的方法，利用音频数据训练读唇模型。

使用知识蒸馏压缩wav2vec 2.0和HuBERT语音模型约75%的参数量，微调后在关键词检测和说话人验证任务中表现良好。

提出了一种多自监督语音模型集成的方法，显著提高了四个下游语音处理任务的性能。

研究提出三种知识蒸馏方法，解决神经网络在非稳态环境下学习新概念的问题，seq-KD显著提高性能。

提出了一种将BERT教师模型的知识蒸馏到自动语音识别模型中的新方法，使用中间层作为蒸馏目标提高识别准确性。

引入SKILL方法，通过层分组进行知识蒸馏，WavLM Base+的蒸馏版本在多个任务中达到了最先进的结果。

使用现实语音数据进行知识蒸馏，K^2D方法实现了模型参数减少为原来的二分之一，并在所有测试集上胜过基线方法和教师模型。