基于动态语言分组的 MoE:提升代码交替语音识别的效率与灵活性
📝
内容提要
该研究介绍了 DLG-MoE 方法,它经过优化以适应双语和混合语言场景,通过具有共享权重的语言路由器和独立无监督路由器的动态语言群组块,提高了专家扩展能力并支持动态 top-k 训练,无需预训练,支持流式识别,在与其他方法相比具有无与伦比的灵活性下取得了最先进的结果。
➡️
该研究介绍了 DLG-MoE 方法,它经过优化以适应双语和混合语言场景,通过具有共享权重的语言路由器和独立无监督路由器的动态语言群组块,提高了专家扩展能力并支持动态 top-k 训练,无需预训练,支持流式识别,在与其他方法相比具有无与伦比的灵活性下取得了最先进的结果。