SC-MoE：用于统一流式和非流式代码切换 ASR 的切换变压器混合专家
内容提要
本文提出了一种流式多语言Conformer模型，结合MoE层以提高推理效率，在12种语言上相对WER改进11.9%。研究引入新的解缠损失函数，解决代码切换挑战，验证其在端到端自动语音识别中的优越性。SpeechMoE模型通过稀疏L1损失和平均重要性损失，在计算成本相当的情况下，相对CER改进7.0%-23.0%。
延伸解读
流式与非流式统一解码的工程意义
SC-MoE 基于 U2++ 架构，用 MoE 层替换所有前馈网络，同时支持流式和非流式解码。这意味着同一套模型参数可以灵活适配实时和离线场景，降低了部署和维护成本。对于需要兼顾低延迟交互和高精度转写的应用，这种统一设计提供了便利，但实际性能可能因模式不同而有差异。
MoE 在推理效率上的权衡
文章强调 MoE 层能提高推理效率，通过稀疏激活部分参数来降低计算量。在 12 种语言上，模型相对 WER 改进 11.9%，且在不使用语言信息的情况下，与使用 Ground Truth 信息的适配器模型相比，实现了类似的 WER 和相似数量的参数激活。这表明 MoE 能在不显著增加计算成本的前提下提升多语言性能，但具体效率收益需结合任务复杂度评估。
代码切换挑战与解缠损失函数
代码切换是混合语言语音识别的难点，SC-MoE 引入新的解缠损失函数来改进声学编码器，以应对这一挑战。文章通过实验验证了该方法的优越性，但未详细说明损失函数的具体设计。对于研究者而言，这提示解缠表示可能是提升代码切换鲁棒性的有效方向，实际效果需进一步复现验证。
SpeechMoE 的稀疏性控制与性能提升
SpeechMoE 通过稀疏 L1 损失和平均重要性损失控制路由器激活的稀疏性和门值多样性，并采用新路由器架构融合共享嵌入与分层表示。在计算成本可比的情况下，相对传统静态网络获得 7.0%-23.0% 的相对 CER 改进。这显示了 MoE 在语音识别中的潜力，但改进幅度因任务而异，需注意其适用条件。
Q&A
SC-MoE模型的主要创新点是什么？
SC-MoE模型结合了MoE层以提高推理效率，并引入了解缠损失函数来解决代码切换问题。
该模型在多语言识别中的表现如何？
在12种语言上，SC-MoE模型相对于基线获得了11.9%的相对WER改进。
SC-MoE模型如何处理代码切换现象？
通过引入新的解缠损失函数，SC-MoE模型有效解决了代码切换带来的挑战。
SpeechMoE模型的计算效率如何？
SpeechMoE模型在计算成本相当的情况下，相对CER改进了7.0%-23.0%。
SC-MoE模型的设计目标是什么？
SC-MoE模型旨在促进无损耗部署的语音基础模型的扩展研究。
SC-MoE模型的应用场景有哪些？
该模型主要应用于端到端自动语音识别（ASR）中，尤其是在多语言和代码切换的场景。
