BriefGPT - AI 论文速递
·
在知识蒸馏中不留下任何知识：以实际数据为基础的代码切换 ASR 的实用和有效知识蒸馏
💡
原文中文，约200字，阅读约需1分钟。
📝
内容提要
通过知识蒸馏技术，提出了一种新的两步法来压缩Tiny语音增强模型，该方法在高压缩和低信噪比条件下表现出显著改进，信噪失真比分别提高了0.9dB和1.1dB。
🎯
关键要点
- 通过知识蒸馏技术提出了一种新的两步法来压缩Tiny语音增强模型。
- 该方法包括先用知识蒸馏目标进行预训练，然后切换到完全监督训练模式。
- 提出了一种新的细粒度相似性保持KD损失函数。
- 在高压缩和低信噪比条件下，该方法表现出显著改进。
- 在输入信噪比为-5dB和63倍压缩的情况下，信噪失真比分别提高了0.9dB和1.1dB。
🏷️
标签
➡️
