该文章介绍了一种基于音频查询的Transformer架构(AQFormer),通过利用预定义的音频查询在视觉特征中聚集对象信息,建立了音频和视觉模态之间的对象级语义对应关系,并提出了一种基于音频的时间交互模块。实验结果表明,该方法在两个AVS基准测试集上取得了最先进的性能。
本文介绍了一种通过无监督学习方法来估计语义对应关系的新方法,并在多个数据集上进行了评估。该方法在语义匹配任务中取得了显着更好的性能。
完成下面两步后,将自动完成登录并继续当前操作。