我们与CTC Global合作,加速美国电网下一代传输技术的部署。CTC Global的先进导体可提升电网容量和可靠性。通过信息请求识别高影响力的传输线路,选定合作伙伴将获得资源支持,以促进经济增长和降低能源成本。
AIxiv专栏促进学术交流,报道超过2000篇内容。新一代Kaldi团队提出CR-CTC算法,提升语音识别性能,并在多个数据集上取得新SOTA结果。该方法通过一致性正则化优化CTC模型,增强模型的泛化能力。
本研究提出了一种CTC辅助的上下文自动语音识别模型,旨在解决现有系统在识别稀有词汇时的局限性。通过有效的过滤算法,该模型在Librispeech测试集上显著提升了识别性能。
本研究提出了一种创新的同步双语联结主义时间分类框架,通过双重 CTC 缩小语音翻译中的模态和语言差距。模型将转录和翻译作为并行目标,提升了音频与文本、源语言与目标语言的连接。在资源有限的情况下,增强的 BiL-CTC+ 变体表现出色,显著提高了语音识别性能,展示了跨语言学习的效果和广泛适用性。
本文介绍了一种改进CTC模型的方法,通过利用标签先验知识减少路径中的空白对齐得分,从而提升训练效果。在Buckeye和TIMIT数据集上,该方法的音素和词边界错误率降低了12-40%。与MFA相比,Buckeye表现相似,TIMIT稍逊,但训练流程更简单高效。相关训练步骤和预训练模型已在TorchAudio发布。
该论文提出了一种新颖的资源高效方法,利用已训练的自动语音识别模型进行视觉语音识别。该方法在VSR基准测试中以极少的资源实现了竞争性的性能,微调后的词错误率分别为35%(LRS2)和45.7%(LRS3)。该模型可以在几天内在单个GPU上进行训练,并能够在老旧硬件上实时进行端到端的VSR。
本论文研究了使用自注意力机制的CTC和序列到序列两种模型进行唇语识别,并介绍了新的数据集LRS2-BBC。实验结果表明,该模型在唇语识别方面表现优于以前的相关工作。
本文介绍了一种名为聚焦判别训练(FDT)的新训练框架,旨在改善流式端到端自动语音识别模型在识别挑战性音频片段方面的表现。该框架独立于隐马尔可夫模型和格,减少了在标准判别训练中需进行的复杂决策,同时在LibriSpeech上实现了更大幅度的字错误率降低。
In recent years, the evolution of end-to-end (E2E) automatic speech recognition (ASR) models has been remarkable, largely due to advances in deep learning architectures like transformer. On top of...
该研究提出了一种轻量级字符表示的方法,用于编码精细的发音特征并执行情境偏倚。实验结果显示,该方法在不同情境偏见列表大小上相对于基线模型提高了4.62%-9.26%的识别准确率。在大规模数据集上,相对于基准模型,识别准确率提高了7.91%。在稀有单词和尾部话语的测试集上,相对识别准确率的改善分别达到了36.80%和23.40%。
通过预训练、知识蒸馏和非自回归训练技术,基于CTC的非自回归模型在直接语音到语音翻译中实现了与自回归模型相当的翻译质量,并提升了26.81倍的解码速度。
我们提出了一种新颖的 kNN-CTC 基于代码切换 ASR 框架,它采用双语言数据存储和门控数据存储选择机制以减少噪音干扰。我们将此框架应用于先进的 CTC-based 模型,开发出一种先进的中英文代码切换 ASR 系统。广泛的实验证明了我们的门控数据存储机制在提高零 - shot 中英文代码切换 ASR 性能方面的卓越效果。
近年来,端到端自动语音识别模型的演变令人瞩目。研究人员通过重新评分音素模型的最佳假设,提高了E2E模型的准确性。联合训练E2E模型与多样的建模单元可以显著提高模型准确性,为开发更可靠准确的ASR系统提供了新的见解。
我们提出了一种联合建模方案,通过多任务学习和三种新的单通道波束搜索算法,我们训练出的 4D 模型在端到端自动语音识别上取得了更好的性能,并超过了使用单个解码器的模型。
基于连接主义时间分类(CTC)的新型仅编码器语音模型(OWSM-CTC)在多语言自动语音识别(ASR),语音翻译(ST)和语言识别(LID)任务上取得了有竞争力的结果,并在ST上提高了25%的相对改进。该模型在推断中更为稳健且速度更快,同时也对长形式ASR结果有20倍的加速。
本论文研究了唇语识别的两种模型:使用自注意力机制的CTC和序列到序列模型,以及唇语识别与音频识别的互补性。同时,介绍了新的数据集LRS2-BBC,并公开发布。实验结果表明,该模型的表现超过了以前的相关工作。
通过在自动语音识别模型的编码器的中间层引入语言识别信息,本文旨在以更加隐式的方式生成暗示语言区别的声学特征,降低模型在处理语言切换时的混淆。
本论文研究了唇语识别的两种模型:使用自注意力机制的CTC和序列到序列模型。同时,介绍了新的数据集LRS2-BBC,并公开发布。实验结果表明,该模型在有噪音的情况下表现优于以前的相关工作。
本研究提出同步双语联结主义时间分类框架,填补语音翻译任务中模态和语言之间的差距。开发了增强的变体BiL-CTC+,提高了语音识别性能,展示了广泛适用性。
该论文提出了一种使用UMA的非自回归自动语音识别方法,可以缩短序列长度,降低识别错误和计算复杂度。实验证明UMA在非自回归方法中表现出优越或可比较的性能,并且通过将自条件CTC集成到该方法中,性能可以进一步提高。
完成下面两步后,将自动完成登录并继续当前操作。