T-VSL: 混合环境下的文本引导视听源定位
原文中文，约300字，阅读约需1分钟。发表于：。我们提出了一种利用 Tri-modal joint embedding 模型通过文本模态作为中间特征引导，在多源混合中分离语义音视源对应关系的 T-VSL 框架，该方法在训练期间通过预测混合中声音实体的类来引导细粒度的音视源对应关系的分离，展现了在测试期间对未见过的类别具有有希望的零 - shot 迁移能力。在 MUSIC、VGGSound 和 VGGSound-Instruments...
我们提出了一种利用Tri-modal joint embedding模型通过文本模态作为中间特征引导，在多源混合中分离语义音视源对应关系的T-VSL框架。该方法在训练期间通过预测混合中声音实体的类来引导细粒度的音视源对应关系的分离，并展现了在测试期间对未见过的类别具有有希望的零-shot迁移能力。实验证明该方法相对于最先进方法有显著性能提升。
