ICMC-ASR: 2024 年 ICASSP 车载多通道自动语音识别挑战
内容提要
本文汇总了团队在语音识别领域的多项研究：在ICMC-ASR挑战赛中结合多通道前端增强、数据增强与多通道识别模型，使CER和cpCER显著优于基准；提出端到端多通道说话人归属ASR系统，降低WER；构建中文粤语车内视听数据集CI-AVSR；在M2MeT、CHiME等挑战中改进说话人分割与远场识别；并探索会话级主题建模、低资源粤语识别及呼叫符号识别增强。
延伸解读
多通道前端与数据增强的协同效应
在ICMC-ASR挑战赛中，团队将多通道前端增强、训练数据增强与多通道分支识别模型结合，在官方评测集上CER相对基准提升34.3%，cpCER提升56.5%。这表明在车载噪声环境下，单纯改进声学模型或前端处理可能不足，而前端增强与数据增强的协同能更有效应对多通道信号差异和真实噪声，为类似场景的系统设计提供了可参考的工程路径。
端到端说话人归属ASR的集成价值
团队提出的MC-SA-ASR系统将Conformer编码器、多帧跨通道注意力和说话人归属Transformer解码器集成于端到端框架，在模拟混合语音上相比单通道和多通道基线分别降低WER 12%和16%，并在AMI真实会议数据上验证有效。这提示将说话人识别与ASR联合建模，而非级联独立模块，有助于减少错误传播，对会议转录等多说话人场景具有实用意义。
低资源粤语与视听数据的补充作用
针对低资源语言识别难题，团队构建了中文粤语车内视听数据集CI-AVSR，并利用视觉与音频融合进行指令识别，同时采用车内背景噪声增强模拟真实环境。此外，还探索了基于视听数据的粤语语音识别方法。这些工作表明，在语音数据稀缺时，引入视觉模态和领域特定数据增强，可为低资源语言的车内交互提供可行的数据与模型基础。
会话级主题建模对识别错误的抑制
团队提出基于端到端神经框架的会话ASR模型，利用潜变量模块学习会话级角色偏好和主题连贯性，并通过主题模型偏置解码器输出。在两个汉语会话ASR任务上，该模型实现最大12%的相对字符错误率降低。这说明在长对话场景中，显式建模会话主题和说话人角色，能够为解码提供额外约束，从而减少同音或歧义导致的识别错误。
Q&A
ICMC-ASR 挑战赛中，你们团队的最佳系统在官方评测集上相比基准提升了多少？
在官方 Eval1 和 Eval2 数据集上，最佳系统相对于官方基准系统提高了 34.3% 的 CER 和 56.5% 的 cpCER。
你们提出的端到端多通道说话人归属 ASR 系统在 LibriSpeech 模拟数据上 WER 降低了多少？
在 LibriSpeech 数据的模拟混合语音中，与之前提出的单通道和多通道方法相比，该系统将词错误率（WER）相对降低了 12% 和 16%。
CI-AVSR 数据集是什么？它主要用于什么研究？
CI-AVSR 是一个新的中文粤语车内视听数据集，用于研究车内指令识别。它使用视觉和音频数据来识别汽车相关的指令，并采用常见的车内背景噪声进行数据增强来模拟真实环境。
在 ICASSP 2022 M2MeT 挑战中，你们针对说话人分割和语音识别分别采用了什么方法？
对于 Track 1，提出多种方法来加强聚类式说话人分割系统以应对重叠语音；对于 Track 2，采用 Conformer 模型和神经前端模块来训练系统，实现多声道混叠语音识别。
你们提出的会话级 ASR 模型如何利用主题信息来降低字符错误率？
该模型使用潜变量模块来学习会话级别的角色偏好和主题连贯性，并使用一个主题模型来偏置解码器的输出，以预测主题中的单词。在两个汉语会话自动语音识别任务上，实现了最大 12% 相对字符错误率的降低。
针对低资源粤语识别，你们提出了什么解决方法？
提出使用视听数据进行广东话语音识别，以应对低资源语言识别问题。
在 CHiME 挑战赛的远场 ASR 任务中，主要研究问题是什么？
该任务旨在通过使用自我监督的语音表示法（SSLR）来设计一种可以跨越不同阵列几何和用例的单一系统。
在多方会议场景的说话人归属 ASR 中，哪些方法可以有效提升性能？
引入单词级别的划分模型可以有效降低时戳对准错误；采用目标发言人分离模块和 ASR 模块联合训练可以显著提高 SA-ASR 的性能。
你们如何提升 callsign（呼叫符号）的识别率？
通过将 ASR 和 NLP 方法相结合并利用监控数据，采用两步增强 callsign 的方法，最终提高了 53.7% 的绝对召唤符号识别率和 60.4% 的相对召唤符号识别率。
