BS-PLCNet2: 利用模型内蒸馏的两阶段分频带丢包补偿网络 | INTERSPEECH2024
内容提要
研究人员提出了BS-PLCNet 2模型，通过双路径编码器结构和模型内知识蒸馏策略，降低了参数量和计算量，并在丢包恢复后引入了后处理模块。实验结果表明，BS-PLCNet 2在ICASSP 2024 PLC挑战赛和INTERSPEECH 2022 PLC挑战赛中取得了优异成绩。
延伸解读
模型内蒸馏：降低训练成本的新思路
BS-PLCNet 2采用模型内知识蒸馏，在编码器中设计双路径卷积，分别处理因果和非因果信息。训练时，非因果路径作为教师，指导因果路径学习，使因果模型也能利用未来信息。与传统的两阶段师生蒸馏不同，这里解码器和瓶颈层共享参数，同时接收两种输入，从而在一个训练步骤中同时获得非因果和因果模型，显著降低了训练成本。
计算效率大幅提升，性能不降反升
相比BS-PLCNet，BS-PLCNet 2的参数量仅为40%，计算量仅为38%，但在ICASSP 2024 PLC挑战赛盲测集上，PLCMOS提升了0.18，达到了SOTA水平。这得益于双路径编码器、深度可分离卷积、动态调整TFDCM层数以及用单层F-T-GRU替换三层F-T-LSTM等优化措施，在降低复杂度的同时保持了高性能。
后处理模块：轻量但有效
BS-PLCNet 2在丢包恢复后引入了一个轻量级的后处理模块，仅处理0-8kHz的宽带信号，采用基于GRU的简单结构。该模块用于处理潜在失真和残留噪声，实验表明，引入后处理模块后，PLCMOS和DNSMOS均有提升，尤其是BAK分数，而计算复杂度仅增加了0.11 GFLOPs，性价比很高。
实验验证：在两个挑战赛中均表现优异
BS-PLCNet 2在ICASSP 2024和INTERSPEECH 2022 PLC挑战赛的盲测集上均进行了评估。在ICASSP 2024盲测集上，其客观得分优于其他并列第一的系统；在INTERSPEECH 2022盲测集上，与排名前三的系统相比也具有明显优势。这些结果验证了BS-PLCNet 2在丢包补偿任务上的有效性和泛化能力。
Q&A
BS-PLCNet 2模型的主要创新点是什么？
BS-PLCNet 2模型采用双路径编码器结构和模型内知识蒸馏策略，显著降低了参数量和计算量，同时引入了后处理模块以提升音频质量。
BS-PLCNet 2在丢包补偿方面的表现如何？
BS-PLCNet 2在ICASSP 2024和INTERSPEECH 2022 PLC挑战赛中表现优异，尤其在ICASSP 2024挑战盲集上获得了0.18的PLCMOS提升。
传统的丢包补偿技术存在哪些问题？
传统丢包补偿技术存在网络开销和延迟问题，且无法有效处理较长的丢包情况。
BS-PLCNet 2如何降低计算复杂度？
BS-PLCNet 2通过双路径编码器和后处理模块设计，减少了计算复杂度至原模型的38%。
模型内知识蒸馏策略的作用是什么？
模型内知识蒸馏策略使因果路径和非因果路径共享信息，从而提高了模型的性能。
BS-PLCNet 2的后处理模块有什么功能？
后处理模块用于处理潜在失真和噪声，进一步提升音频质量。
