Papez: 基于听觉工作记忆的资源高效语音分离
内容提要
本文探讨了Transformer模型在多说话者语音识别中的应用，实验结果显示其相对错误率显著降低。同时，提出了音频-视觉声音分离方案和基于多通道的ASR系统，均取得良好效果。研究还涉及语音分离模型的可转移性及其在低资源环境下的应用，展示了新架构在实时任务中的优势。
延伸解读
Transformer 在多说话者语音识别中的性能提升
文章指出，用 Transformer 替代基于循环神经网络的编码器-解码器模型，在多说话者语音识别和神经束形成器的遮盖网络中，能有效处理混响信号。实验显示，在单通道和多通道任务下，相对错误率分别降低达 40.9% 和 25.6%；在混响环境中，相对错误率降低达 41.5% 和 13.8%。这表明 Transformer 架构在复杂声学条件下具有显著优势。
音频-视觉声音分离的低时延方案
文章提出一种音频-视觉声音分离方案，在语音和唱歌两种场景中实现了低时延的最新成果。该模型基于两级网络：第一阶段用轻量级图卷积网络从面部标记提取运动线索，并将视觉和音频特征输入音频-视觉转换器进行目标源隔离估计；第二阶段利用音频网络增强主要声音。研究还探讨了在唱声分离任务中训练语音分离模型的可转移性。
多通道 ASR 系统的前端优化与评估
文章介绍了一种基于多通道前端与加权预测误差方法、定向最小方差冲束形成器和基于自注意力的通道合并方案的 ASR 系统，结合 ContextNet 后在多通道语音识别问题上优于其他系统。研究验证了前置去混响和改进的神经通道缩短方法带来的益处，并探讨了 C50 声信噪比的评估和权重的意义。
模型压缩与低资源自适应技术
文章提及通过减少数字精度至 8 位定点，可将全精度模型的参数数量减小并将模型进一步压缩 4 倍，同时维持高精度。此外，采用参数效率学习（PEL）技术，基于最优传输理论引入无监督损失，建立资源高效的低资源口音自适应 TTS 模型，在 Mandarin 口音自适应中提高了自然度和性能。这些方法有助于在低资源环境下部署语音模型。
Q&A
Transformer模型在多说话者语音识别中的优势是什么？
Transformer模型在多说话者语音识别中相对错误率显著降低，单通道和多通道任务下分别降低达40.9%和25.6%。
音频-视觉声音分离方案的工作原理是什么？
该方案基于两级网络，利用轻量级图卷积网络提取面部运动线索，将视觉和音频特征输入音频-视觉转换器进行声音隔离估计。
基于多通道前端的ASR系统有什么优势？
该ASR系统结合了定向最小方差冲束形成器和自注意力的通道合并方案，在多通道语音识别中表现更好，验证了前置去混响的益处。
如何提高低资源环境下的语音分离模型性能？
通过使用教师-学生学习方法和未标记语音数据，可以显著降低语音分离的单词错误率（WER），提高模型性能。
研究中提到的语音分离模型的可转移性如何？
研究探讨了语音分离模型在不同任务中的可转移性，显示其在唱声分离任务中的有效性。
如何简化基于Transformer的语音识别架构？
通过去除特定模块和减少数字精度，成功简化和压缩了基于Transformer的端到端语音识别架构，同时保持高精度。
