本文介绍了一种端到端可训练的理解网络，结合语言和视觉编码器，提出空间感知动态滤波器以有效捕获对象空间信息。通过生成的字幕网络增强语言与视觉模块的通信，评估结果显示该方法在多个数据集上表现优异，超越现有技术。

本文评估了无监督和监督的句子嵌入训练对语言编码器质量和交叉模态任务性能的影响。研究发现，句子嵌入训练有助于提高对比视觉-语言模型的性能，但在音频-语言预训练中效果较少。句子嵌入训练改善了文本空间的均匀性，但降低了交叉模态对齐性。