持续音视频声音分离

本文综述了音视频学习的四个子领域：音视频分离和定位、音视频对应学习、音视频生成以及音视频表示学习。

提出了AudioScope框架，通过无监督培训从自然视频中分离声源，使用混合不变训练识别音频-视觉相似性。

基于面部出现和声音特征的方法能够对音视频进行有效的语音分离和增强，具有良好的泛化性能。

提出循环共同学习模式，联合学习声音对象视觉定位和音频-视频分离，提高了两个任务的效果。

介绍了一种新的跨模态知识迁移方法，通过组合对比学习改善视频表示学习表现，实验结果显著优于现有方法。

AudioScopeV2系统通过观察野外视频学习分离声音，解决了先前工作的限制并取得显著改进。

利用自监督学习方法，通过自然语言查询进行音频源分离，结合语言描述与视觉特征。

提出了一种参数高效的音频-视觉预测编码方法，融合多模态信息并开发有效的自监督学习策略。

引入双通道音频-视觉相似性约束和视觉注意聚焦的音频-视觉类增量学习方法，显著优于现有方法。

提出类增量分组网络，实现持续的视听学习，取得最先进的视听类别增量学习性能。