计算机听觉的音频增强——基于样本重要性的迭代训练范式
内容提要
本文介绍了多种语音增强和识别技术，包括Accordion Annealing（ACCAN）和InterAug等新训练方法，旨在提高语音识别系统在嘈杂环境中的鲁棒性。这些方法显著降低了词错误率，改善了语音质量，推动了语音识别技术的发展。
延伸解读
训练策略的演进：从课程学习到中间表示增强
文章介绍了多种提升语音识别噪声鲁棒性的训练策略。ACCAN采用课程式训练，通过多阶段计划动态调整信噪比，在20dB至-10dB范围内平均词错误率下降31.4%。InterAug则另辟蹊径，通过增强中间表示进行迭代精炼，验证了模型对删除、插入和替换误差的强韧性。这些方法从不同角度出发，共同推动了ASR在复杂环境下的性能提升。
语音增强模型的结构创新与预处理价值
Wave-U-Net在时域直接建模，利用大时间上下文信息，在VCTK数据集上提升了PESQ、CSIG等多个指标，且基于少量隐藏层的结构更适合语音增强，可作为ASR的预处理步骤。Cleancoder则从Conformer ASR中提取隐藏激活，重建去噪谱图，改善嘈杂环境下的WER。这些工作表明，针对性的结构设计能有效提升增强效果。
鲁棒性提升的量化效果与通用框架
改进的训练框架在CHiME-3真实测试集上相对WER减少16%到39%，D4AM通用降噪框架在Google ASR API上实现24.65%的相对WER降低。这些数据表明，通过训练策略和框架的优化，语音识别系统在噪声环境下的性能可以得到显著提升，且部分方法具备跨模型泛化能力。
Q&A
Accordion Annealing（ACCAN）是什么？
ACCAN是一种课程式训练策略，通过多阶段训练计划提高语音识别系统的噪声韧性，平均词错误率下降31.4%。
Wave-U-Net在语音增强中有什么优势？
Wave-U-Net在语音增强中表现出色，能够提高多个指标，适合用于语音识别系统的预处理步骤。
InterAug方法如何提高语音识别性能？
InterAug通过增强中间表示来提高基于CTC的ASR性能，验证了模型对各种误差的强韧性。
D4AM框架的主要功能是什么？
D4AM是一个通用降噪框架，通过反向梯度调整语音增强模型，有效改善各种未知声学模型的性能。
Cleancoder预处理架构的作用是什么？
Cleancoder通过重建去噪谱图改善嘈杂环境中的总词错误率（WER），有效滤除语音中的噪声。
AV2Wav方法的创新点是什么？
AV2Wav是一种基于重新综合的视听语音增强方法，能够生成清晰语音，性能优于基于掩模的基线。
