本研究提出了Sat2Sound，一个用于声景映射的多模态表示学习框架。该框架通过视觉-语言模型生成声景描述，并利用对比学习实现卫星图像与音频的跨模态检索，展示了新的声景合成应用，提供沉浸式声学体验。

本研究提出了一种新的生成式跨模态检索框架SemCORE，解决了现有方法在语义信息方面的不足。通过结构化自然语言标识符和生成语义验证策略，SemCORE提升了语义理解能力，并在多个数据集上显著提高了检索性能。

本研究提出了新型视觉语言基础模型LRSCLIP及数据集LRS2M，解决了遥感视觉语言模型在长文本处理和短文本信息不足方面的“幻觉”问题，显著提升了跨模态检索的精度。

本研究提出CS-Aligner框架，解决多模态对齐中的分布差异问题。通过结合柯西－施瓦茨散度与互信息，实现更精确的视觉语言分布对齐，实验结果表明其在文本到图像生成及跨模态检索中表现优异。

该研究提出了一种新的动态适配器（DASD），有效解决了资源匮乏语言中的跨模态检索问题。实验结果表明，DASD在图像-文本和视频-文本数据集上表现优异，显著提升了跨语言跨模态检索性能。

该研究提出FLEX-CLIP方法，解决传统少样本跨模态检索中的特征退化和数据不平衡问题。通过生成伪样本和融合CLIP特征，实验结果显示在四个基准数据集上的性能提高了7%至15%。

本研究提出了一种名为最近邻规范化（NNN）的方法，旨在提升大规模预训练模型在图像描述、视觉问答和跨模态检索中的性能，无需额外训练即可纠正模型的错误。

本文研究了计算病理学中的视觉表征学习，利用大规模图像-文本对和病理知识树。研究构建了一个包含50,470个属性的知识树，涵盖32种组织和4,718种疾病。开发了一种知识增强的视觉-语言预训练方法，通过语言模型引导视觉学习。实验表明，该方法在跨模态检索和零样本分类任务中表现出色。代码和模型将公开。

通过大规模、同步的数据进行深度判别式表示学习，实验结果表明该表示对跨模态检索和模态间转移分类器非常有用。网络能够在文本和声音之间进行转移学习，可视化揭示了许多隐藏的单元，自动检测概念，独立于模态。

研究了跨模态检索在解决实体与其描述之间语义差距方面的作用，发现其可以与单模态检索互补，提供更简单和廉价的解决方案。同时，研究了三种不同的模型微调策略：单模态、跨模态或联合训练。

该文介绍了一个跨模态对齐任务，以促进音频和视觉模态之间的交互学习，实现了声源定位和跨模态检索的高性能和语义理解。