BriefGPT - AI 论文速递
·
视听对齐：通过音视频对齐来实现先进的声源定位
💡
原文中文，约300字，阅读约需1分钟。
📝
内容提要
我们提出了一种利用Tri-modal joint embedding模型的T-VSL框架，通过文本模态作为中间特征引导，在多源混合中分离语义音视源对应关系。该方法在训练期间通过预测混合中声音实体的类来引导音视源对应关系的分离，并展现了在测试期间对未见过的类别具有有希望的零-shot迁移能力。实验证明该方法相对于最先进方法有显著性能提升。
🎯
关键要点
- 提出了一种利用Tri-modal joint embedding模型的T-VSL框架。
- 通过文本模态作为中间特征引导，分离语义音视源对应关系。
- 训练期间通过预测混合中声音实体的类来引导音视源对应关系的分离。
- 展现了对未见过的类别具有零-shot迁移能力。
- 在MUSIC、VGGSound和VGGSound-Instruments数据集上进行了大量实验。
- 该方法相对于最先进方法有显著性能提升。
➡️
