探究神经网络语音模型中自动语音识别系统所编码的信息
内容提要
该文综述深度学习语音识别进展，分析端到端模型内部表示：CNN层随深度呈层级相关性，LSTM无此现象，Transformer编码器相关性不规则上升；不同特征在各层表示一致。还介绍归因可视化方法、ASR性能预测、说话人噪声丢弃及自监督模型声学语言信息等研究。
延伸解读
不同网络架构的内部表示差异
文章通过规范相关性分析和中心核对齐发现，CNN层内的神经表示随层深度增加表现出层级相关性依赖性，而LSTM架构中未观察到这一现象，Transformer编码器层则呈现不规则的系数相关性随深度增加而上升。这些差异提供了神经体系结构对语音识别性能作用的新见解，可作为构建更好模型的指示器。
归因可视化方法的应用与比较
文章介绍了将图像识别中的归因方法用于音频数据，以可视化深度神经网络自动语音识别模型中输入特征对输出的影响。通过比较LRP、Saliency Maps和SHAP三种技术，展示了归因方法在检测对抗性样本等方面的优势和应用前景，有助于理解模型决策依据。
ASR性能预测与多任务学习
文章提出一项新任务：预测ASR在未见过的广播节目上的表现。使用CNN编码文本和语音来预测单词错误率，并分析CNN学习的语音信号嵌入和文本嵌入。实验表明，多任务学习能训练出效果稍好的ASR性能预测系统，同时可根据语音风格、口音和来源对话语进行标记。
自监督模型中的信息内容与微调影响
文章利用分析工具研究了一款较新的波形自编码预训练语音表征模型，发现其中间表征向量包含声学信息和语言信息，并研究了ASR微调对这些观察结果的影响。为此提出的修改方案在低资源设置中提高了单词错误率的表现，展示了自监督模型在语音识别中的潜力。
Q&A
CNN、LSTM和Transformer在端到端语音识别模型中的内部表示有什么不同？
CNN层内的神经表示随层深度增加表现出层级相关性依赖性；LSTM架构中未观察到这种行为；Transformer编码器层中则出现不规则的系数相关性随神经深度增加而增加。
有哪些可视化方法可以解释端到端语音识别模型的决策？
可以使用图像识别中的归因方法，如Layer-wise Relevance Propagation（LRP）、Saliency Maps和Shapley Additive Explanations（SHAP），来可视化输入特征对输出结果的影响，并可用于检测对抗性样本。
如何预测自动语音识别系统在未见过的广播节目上的表现？
可以训练一个预测模型，使用CNN编码ASR转录文本和语音信号，预测单词错误率。多任务学习能利用语音风格、口音和节目来源等信息，稍微提升预测性能。
深度语音模型如何处理说话人噪声和任务相关信息？
语音模型会丢弃特定说话人的噪声信号，保留与任务相关的语音和音素信息，并在后续层级中出现更高层次的概念表示，从而在不同时刻提取任务相关特征以实现不变语音识别。
自监督语音表征模型包含哪些声学和语言信息？ASR微调有何影响？
波形自编码预训练模型的中间表征向量包含声学信息和语言信息。ASR微调会影响这些信息，通过修改方案可以在低资源设置中提高单词错误率表现。
基于深度学习的声学模型有哪些进展和关键技术？
进展包括利用可变长度上下文信息的模型如RNN、CNN及其组合，优化端到端性能的声学模型和鲁棒性训练策略，以及语音增强和分离等建模技术。
