该文综述基于CLIP的跨模态生成研究，涵盖零样本图像字幕（文本嵌入解码）、DeCap轻量解码器降低数据与算力需求、Knight的K近邻跨模态映射实现零样本图像与视频描述、视觉语义模型结合大语言模型生成描述、无语言数据训练文本到图像生成、RegionCLIP区域级视觉-文本对齐、深度网络结合CLIP与变分推断优化文本到图像生成、合成图文对改善跨模态对齐、ZeroTA联合优化实现零样本密集视频字幕，以及VideoCLIP对比学习预训练统一视频文本模型。

本文综述提示学习在多模态视觉任务中的应用，涵盖上下文提示学习提升图像特征对齐与任务适应、KAPT通过知识感知提示改进少样本分类与泛化、GeoNet揭示地理适应难题、无监督提示提升字幕生成通用性、RegionCLIP实现区域级视觉-文本对齐、C-SAW增强遥感域不变特征、PCL微调CLIP替代提示学习用于Re-ID，以及RePrompt以检索增强提示应对领域差异。

本文介绍了一种面向对象的解码器，通过预测手部位置、物体位置和物体的语义标签来增强模型的对象感知能力，提高自我中心视频的时空表示性能。实验证明，该模型学到的对象感知表示在视频文本检索和分类任务中的性能优于现有技术水平，即使与使用更大批次大小进行训练的网络相比也是如此。通过使用嘈杂的图像级别检测作为伪标签进行训练，模型可以提供更好的边界框，并在关联文本描述中进行词的定位，从而通过视觉文本对齐来提高自我中心视频模型的性能。