VISTA：可视化文本嵌入用于通用多模态检索

增强视觉模型对复杂文本信息的理解能力，通过数据预处理、微调和模型评估等方法实现了96.71%的精度。

提出使用Transformer编码器和卷积神经网络对文本和图像进行编码，实验结果显示该方法在不同任务和语言中表现良好。

利用图像标题和点击数据学习文本-视觉嵌入，提出新的三元损失函数和基于小批次的难例负采样方法，提升学习效率。

开发交叉模态检索系统，使用单一网络和融合的图像-文本嵌入，避免了为每个模态使用不同网络的缺点。

提出新的跨模态检索方法，利用生成式模型学习多模态数据的特征，在MSCOCO数据集上取得了最先进的结果。

提出多模态模型和基于知识的方法进行词义消歧，在SemEval 2023视觉词义消歧共享任务中获奖。

提出新型视觉表达方法Visual Table，为多模态大型语言模型提供层次化的视觉场景文本描述，模型在多个基准测试中表现优异。

提出文本到图像人物检索的新框架，使用预训练的全CLIP模型和交叉模态三元组损失，取得最先进的结果。

推出跨模态视频检索数据集TextVR，包含10.5k个视频和42.2k个查询语句，提供新的技术挑战和洞见。