本文探讨了Transformer模型在多说话者语音识别中的应用,实验结果显示其相对错误率显著降低。同时,提出了音频-视觉声音分离方案和基于多通道的ASR系统,均取得良好效果。研究还涉及语音分离模型的可转移性及其在低资源环境下的应用,展示了新架构在实时任务中的优势。
本文介绍了一种音频-视觉声音分离方案,通过两级网络实现了低时延的成果。该模型利用轻量级图卷积网络从面部标记中提取运动线索,并将视觉和音频特征输入音频-视觉转换器,取得了良好的隔离估计结果。研究进行了消融实验和与最先进方法的比较,并探讨了训练语音分离模型在唱声分离任务中的可转移性。
完成下面两步后,将自动完成登录并继续当前操作。