CTC-GMM:用于快速准确流式语音翻译的CTC引导模态匹配

💡 原文中文,约300字,阅读约需1分钟。
📝

内容提要

本研究提出了一种创新的同步双语联结主义时间分类框架,通过双重 CTC 缩小语音翻译中的模态和语言差距。模型将转录和翻译作为并行目标,提升了音频与文本、源语言与目标语言的连接。在资源有限的情况下,增强的 BiL-CTC+ 变体表现出色,显著提高了语音识别性能,展示了跨语言学习的效果和广泛适用性。