BriefGPT - AI 论文速递
·
Papez: 基于听觉工作记忆的资源高效语音分离
💡
原文中文，约300字，阅读约需1分钟。
📝
内容提要
本文介绍了一种音频-视觉声音分离方案，通过两级网络实现了低时延的成果。该模型利用轻量级图卷积网络从面部标记中提取运动线索，并将视觉和音频特征输入到音频-视觉转换器中，取得了良好的隔离估计结果。在第二阶段，音频网络增强了主要声音。研究进行了消融实验并与最先进的方法进行了比较。最后，探讨了在唱声分离任务中训练语音分离模型的可转移性。
🎯
关键要点
- 提出了一种音频-视觉声音分离方案，适用于语音和唱歌场景。
- 模型基于两级网络，使用轻量级图卷积网络提取面部标记的运动线索。
- 视觉和音频特征输入到音频-视觉转换器中，实现了良好的隔离估计结果。
- 第二阶段通过音频网络增强主要声音。
- 进行了消融实验，并与最先进的方法进行了比较。
- 探讨了在唱声分离任务中训练语音分离模型的可转移性。
➡️
