视听对齐：通过音视频对齐来实现先进的声源定位

BriefGPT - AI 论文速递 · 2024-07-18T00:00:00Z

我们提出了一种利用Tri-modal joint embedding模型的T-VSL框架，通过文本模态作为中间特征引导，在多源混合中分离语义音视源对应关系。该方法在训练期间通过预测混合中声音实体的类来引导音视源对应关系的分离，并展现了在测试期间对未见过的类别具有有希望的零-shot迁移能力。实验证明该方法相对于最先进方法有显著性能提升。