视听对齐：通过音视频对齐来实现先进的声源定位
原文中文，约300字，阅读约需1分钟。发表于：。通过综合分析现有方法、基准、评估指标和跨模态理解任务，我们提出了一个新的综合声源定位方法，该方法通过跨模态对齐策略增强跨模态交互能力，并在现有和新基准上使用新的和标准评估指标对竞争方法进行了广泛验证。
我们提出了一种利用Tri-modal joint embedding模型的T-VSL框架，通过文本模态作为中间特征引导，在多源混合中分离语义音视源对应关系。该方法在训练期间通过预测混合中声音实体的类来引导音视源对应关系的分离，并展现了在测试期间对未见过的类别具有有希望的零-shot迁移能力。实验证明该方法相对于最先进方法有显著性能提升。
