使用多个 softmax 上的注意力的流式双语端到端自动语音识别模型
内容提要
该文综述多语言端到端语音识别研究，涵盖：用条件向量与语言适配器层降低错误率；提出支持流式多语言识别、可在移动端实时运行的模型；用单一Transformer结合语言符号提升低资源语言精度；构建覆盖9种印度语言的序列到序列模型；以母语预训练多任务模型识别英语口音；用混合DNN-HMM后验融合改善低资源跨语言识别；扩展多通道端到端框架联合优化波束形成与识别；提出多语言语音翻译框架；用通用字符集与网络内自适应实现多语种及代码转换识别；并探索预训练语音表示与LLM结合的ASR。
延伸解读
多语言语音识别的两条技术路线
文章呈现了多语言语音识别的两类思路：一是通过条件向量、语言适配器层或语言符号让单一模型适配多语言；二是利用母语预训练、后验融合或通用字符集弥补低资源语言数据不足。前者侧重模型结构，后者侧重数据与训练策略，反映了该领域在统一模型与语言特异性之间的权衡。
流式与移动端部署的工程意义
文中提到的流式多语言模型通过端点模型、End-of-Utterance Joint Layer 和高效 Embedding 解码器实现低延迟，并可在移动设备上实时运行。这表明多语言 ASR 的研究不仅追求精度，也开始关注实际部署中的延迟与算力约束，对需要实时交互的场景具有参考价值。
低资源语言与代码转换的应对策略
针对低资源语言，文章列举了母语预训练多任务学习、混合 DNN-HMM 后验融合、通用字符集与网络内自适应等方法。其中后验融合在低资源跨语言识别中相对单语基线取得 6.5% 的相对收益，通用字符集方案还可用于代码转换场景，说明数据稀缺下的迁移与融合是重要方向。
从语音识别到语音翻译与 LLM 集成
文章还涵盖多语言端到端语音翻译框架，以及将预训练语音表示作为提示、结合大型语言模型逐步生成文本的 ASR 探索。后者可借助 LLM 的知识并支持推理优化与参数高效领域适应，性能可与现代端到端 ASR 模型媲美，显示了语音与语言模型融合的趋势。
Q&A
多语言端到端语音识别中，如何降低识别错误率？
一种方法是使用条件向量和针对语言的适配器层结合的多语言端到端模型，该模型比单语言模型和传统模型取得更低的语音识别误差率。
有没有支持流式多语言识别的端到端ASR模型，能在移动端实时运行吗？
有。2022年8月提出的模型支持流式多语言端到端自动语音识别，通过编码端点模型和适用于语言混合的End-of-Utterance Joint Layer，以及更高效的Embedding解码器，实现了低延迟和高质量的效果，可以在移动设备上实时运行。
如何用单个Transformer模型提升低资源语言的多语言语音识别精度？
利用单个Transformer模型及语言符号进行多语言语音识别，针对低资源语言，相较于SHL-MLSTM具有较高的识别精度。
针对印度多种语言，有哪些序列到序列的语音识别模型？
有一种基于序列到序列的语音识别模型，适用于9种不同的印度语言，并通过训练语言特定的字形集合，将这些语言联合起来训练模型以提高性能。
如何利用母语预训练的多任务学习模型识别英语口音？
研究提出一种基于使用原生语言（西班牙语和印度语）预训练的端到端循环神经网络多任务学习模型，成功实现对英语口音的识别，相比其他训练方法在减小字符错误率方面表现更优异。
低资源语言的多语种语音识别中，如何通过混合DNN-HMM后验融合改善跨语言识别？
提出一种新颖的混合DNN-HMM声学模型融合方法，实现多种低资源语言的跨语音识别，相对于多功能和单语基线，后验融合分别得到14.65%和6.5%的相对收益。
多通道端到端语音识别框架如何联合优化波束形成和识别？
研究扩展了端到端框架，包含麦克风阵列信号处理以进行噪声抑制和语音增强，并能够共同优化波束形成和识别架构。实验表明多通道端到端系统在去噪和语音增强任务上表现更好。
多语言端到端语音翻译框架有什么优势？
提出一种简单且有效的多语言端到端语音翻译框架，证明了其在自动语音识别、机器翻译、一对多翻译以及多对多翻译中的有效性，以及相对于双语端到端语音翻译的优势。
如何实现多语种及代码转换场景的语音识别？
利用最新的端到端语音识别技术，提出一种使用通用字符集和网络内自适应机制的多语种语音识别系统，其可优于单一多语种或多任务学习方法，并可用于代码转换场景。
预训练语音表示与大型语言模型结合如何用于自动语音识别？
通过集成预训练语音表示模型与大型语言模型（LLM），以语音表示作为语音提示，自动逐步生成文本标记，利用LLM的广博知识实现端到端ASR模型，还可结合推理优化和参数高效领域适应等关键技术，达到与现代端到端ASR模型相媲美的性能。
