本文介绍了一种音频-视觉声音分离方案,通过两级网络实现了低时延的成果。该模型利用轻量级图卷积网络从面部标记中提取运动线索,并将视觉和音频特征输入音频-视觉转换器,取得了良好的隔离估计结果。研究进行了消融实验和与最先进方法的比较,并探讨了训练语音分离模型在唱声分离任务中的可转移性。
完成下面两步后,将自动完成登录并继续当前操作。