BriefGPT - AI 论文速递
·
实时低延迟音乐源分离使用混合的谱图 - TasNet
💡
原文中文，约300字，阅读约需1分钟。
📝
内容提要
本文介绍了一种音频-视觉声音分离方案，通过两级网络实现了低时延的成果。该模型利用轻量级图卷积网络从面部标记中提取运动线索，并将视觉和音频特征输入音频-视觉转换器，取得了良好的隔离估计结果。研究进行了消融实验和与最先进方法的比较，并探讨了训练语音分离模型在唱声分离任务中的可转移性。
🎯
关键要点
- 提出了一种音频-视觉声音分离方案，适用于语音和唱歌场景。
- 模型基于两级网络，采用轻量级图卷积网络提取面部标记的运动线索。
- 视觉和音频特征输入音频-视觉转换器，取得良好的隔离估计结果。
- 第二阶段利用音频网络增强主要声音。
- 进行了消融研究和与最先进方法的比较。
- 探讨了训练语音分离模型在唱声分离任务中的可转移性。
➡️
