实时低延迟音乐源分离使用混合的谱图 - TasNet

本文介绍了一种音频-视觉声音分离方案，通过两级网络实现了低时延的成果。该模型利用轻量级图卷积网络从面部标记中提取运动线索，并将视觉和音频特征输入音频-视觉转换器，取得了良好的隔离估计结果。研究进行了消融实验和与最先进方法的比较，并探讨了训练语音分离模型在唱声分离任务中的可转移性。