BS-PLCNet2: 利用模型内蒸馏的两阶段分频带丢包补偿网络 | INTERSPEECH2024

BS-PLCNet2: 利用模型内蒸馏的两阶段分频带丢包补偿网络 | INTERSPEECH2024

💡 原文中文,约4500字,阅读约需11分钟。
📝

内容提要

研究人员提出了BS-PLCNet 2模型,通过双路径编码器结构和模型内知识蒸馏策略,降低了参数量和计算量,并在丢包恢复后引入了后处理模块。实验结果表明,BS-PLCNet 2在ICASSP 2024 PLC挑战赛和INTERSPEECH 2022 PLC挑战赛中取得了优异成绩。

🎯

关键要点

  • 研究人员提出了BS-PLCNet 2模型,采用双路径编码器结构和知识蒸馏策略,降低了参数量和计算量。
  • BS-PLCNet 2在ICASSP 2024和INTERSPEECH 2022 PLC挑战赛中表现优异。
  • 音频数据包在传输过程中可能丢失,影响语音通信质量,PLC技术旨在恢复或掩饰丢失的数据包。
  • 传统的丢包补偿技术存在网络开销和延迟问题,深度学习方法在低延迟实时丢包补偿中表现更好。
  • BS-PLCNet模型在ICASSP 2024挑战赛中取得并列第一,但计算复杂度高达8.95G FLOPS。
  • BS-PLCNet 2模型通过双路径编码器和后处理模块,显著降低了计算复杂度和参数量。
  • 模型内知识蒸馏策略使因果路径和非因果路径共享信息,提高了模型性能。
  • 后处理模块用于处理潜在失真和噪声,进一步提升音频质量。
  • 实验结果显示,BS-PLCNet 2在多个测试集上均优于其他系统,验证了其有效性。
➡️

继续阅读