利用前端适应网络增强 ASR 对丢包的鲁棒性
内容提要
本文研究了自动语音识别（ASR）模型在对抗性噪声下的鲁棒性，提出了 Cleancoder 预处理架构和噪声感知训练框架，以提高模型在嘈杂环境中的识别性能。研究表明，通过小幅度输入扰动，模型精度显著降低，但采用自适应方法后，词错误率显著下降。
延伸解读
对抗性噪声的威胁与鲁棒性需求
文章指出，即使小幅度的输入扰动，也能显著降低ASR模型精度，甚至诱导模型转录出攻击者指定的目标句子。此外，欺骗语言检测器可大幅降低多语言模型性能。这些发现凸显了对抗性鲁棒ASR的必要性，说明仅追求干净环境下的准确率不足以应对真实场景中的恶意干扰。
从预处理到训练：提升噪声鲁棒性的两条路径
为应对噪声干扰，文章介绍了Cleancoder预处理架构和噪声感知训练框架。Cleancoder从Conformer ASR模型中提取隐藏激活，重建去噪谱图以滤除噪声，改善下游WER；噪声感知训练则通过级联神经结构，将增强语音引入声学模型的多条件训练，优化增强与识别。两者分别从输入处理和模型训练角度提升鲁棒性。
说话人自适应与Whisper模型改进
文章提出基于特征适应和模型适应的统一说话人自适应方法，在Librispeech上相对基线降低2.74-6.52%的词错误率，且低资源适应性能良好。针对Whisper，通过精细调整和软提示调整可改变解码行为；KG-Whisper和KG-Whisper-PT利用上下文偏差提升关键词识别，在未见语言上平均WER改进5.1%；PI-Whisper框架则提升识别准确率13.7%。
鲁棒性评估的复杂性与注意事项
文章强调，改进鲁棒性需从评估攻击转向系统化评估。在不同架构上评估代表性对抗攻击时，攻击算法的相对强度会随模型架构变化而显著差异，某些攻击结果不能盲目信任。此外，自监督预训练等训练选择可显著影响鲁棒性，因此评估需全面考虑模型架构与训练策略。
Q&A
什么是Cleancoder预处理架构，它如何改善ASR模型的性能？
Cleancoder预处理架构通过重建去噪谱图来滤除语音中的噪声，从而改善ASR模型在嘈杂环境中的词错误率（WER）。
小幅度输入扰动对ASR模型的影响是什么？
小幅度输入扰动可以显著降低ASR模型的精度，最高可达45分贝的噪音会导致模型性能下降。
噪声感知训练框架的作用是什么？
噪声感知训练框架通过引入增强语音优化声学模型的多条件训练，从而提高ASR模型的识别性能。
如何通过Whisper模型改进关键词识别？
通过上下文偏差改进Whisper模型，采用KG-Whisper和KG-Whisper-PT方法，可以有效提高关键词识别的准确率。
PI-Whisper框架的主要优势是什么？
PI-Whisper框架增强了ASR的适应性，提高了识别准确率13.7%，并促进了多元化使用者群体的公平性和公正性。
对抗性攻击对ASR模型的影响如何评估？
通过系统化评估不同架构下的对抗性攻击，可以发现攻击算法的相对强度会有显著差异，某些攻击结果不能盲目信任。
