该文章介绍了一种基于音频查询的Transformer架构（AQFormer），通过利用预定义的音频查询在视觉特征中聚集对象信息，建立了音频和视觉模态之间的对象级语义对应关系，并提出了一种基于音频的时间交互模块。实验结果表明，该方法在两个AVS基准测试集上取得了最先进的性能。

本研究构建了一个高质量的远程感知图像字幕数据集（RSICap），包括 2,585 个人工注释的字幕，为每个图像提供了详细的描述，包括场景描述和对象信息。此外，还提供了一个基准评估数据集 RSIEval，可以全面评估在 RS 背景下的视觉语言模型。