本研究提出了一种名为SPARC的训练无关方法，旨在提高多模态大型语言模型生成图像字幕的准确性与召回率。SPARC通过增强关键视觉元素的贡献，提升了图像字幕的质量，同时保持较低的计算开销。

本研究提出了CompreCap基准，用于评估大型视觉语言模型（LVLMs）在生成详细图像字幕方面的表现。通过手动语义分割和定向场景图，开发了多层次评估流程，实验结果表明该方法与人工评估高度一致。

本文综述了自动生成图像字幕的研究进展，探讨了深度学习模型（如卷积神经网络和编码-解码模型）在图像描述中的应用。研究表明，结合不同模型可以提高字幕生成的准确性和流畅性，同时强调优化训练数据和超参数的重要性。

大规模语言模型推动了人工智能，尤其在遥感领域。研究构建了高质量的遥感图像字幕数据集RSICap，包含2585个人工注释的字幕，促进视觉语言模型的训练与评估。此外，提出了RS-GPT4V数据集以提高模型的泛化性和推理能力，并开发了HqDC-1.4M数据集以增强遥感图像理解能力，同时提出RS-CapRet方法用于图像字幕生成和检索。

本文介绍了多种基于大规模语言模型的创新应用，包括BioGPT（生物医学）、SeqGPT（增强型）、PhoGPT（越南语）、GraphGPT（自我监督建模）、RecurrentGPT（文本生成）、GPT4Rec（推荐系统）、DialoGPT（对话生成）、VisualGPT（图像字幕）以及BookGPT（书籍推荐）。这些模型在各自领域展现了优越的性能和应用潜力。

本文探讨了多模态知识蒸馏技术在视觉语言处理中的应用，提出了VidLanKD和CVLM等模型，旨在提升视觉问答和图像字幕任务的性能。研究表明，这些方法在多个基准测试中显著提高了零样本能力和知识对齐效果，推动了多模态生成任务的发展。

本文介绍了一种针对2024年NICE零射击图像字幕挑战的解决方案，结合检索增强和字幕评分方法，生成高质量字幕。通过使用OFA模型和CLIP模型，提升了图像字幕任务的性能，最终在排行榜上取得第一名。研究强调数据质量和多样性，提出VeCLIP方法，显著改善图片-文本对齐和模型性能。

本研究提出了一种名为GEAN的视频字幕生成模型，利用人眼注视追踪数据提升字幕生成性能。评估结果显示，该方法在空间注意力方面具有显著优势，改善了字幕生成效果。此外，研究探讨了人类注视与深度学习模型的关系，提出了新的注视辅助图像字幕模型，进一步提升了图像字幕性能。

本文比较了对比预训练和图像字幕预训练策略，发现图像字幕训练同样有效，能够产生竞争力的视觉编码器。提出的CoCa模型通过无缝训练图像和文本，提升了多种视觉任务的性能。LocTex方法利用低成本的文本标注和鼠标轨迹，减少了标注数据需求，同时在视觉任务中表现优异。

通过使用Centered Kernel Alignment (CKA)分析图像字幕基准上视觉和语言模型的潜在空间结构，发现不对齐和对齐的编码器的表示空间在语义上是相似的。提出了两种方法，一种是快速二次分配问题优化，一种是基于新颖局部CKA度量的匹配/检索。在跨语言、跨域字幕匹配和图像分类等任务上展示了其有效性。

我们提出了一种新方法MOCHa，通过使用强化学习来处理图像字幕中幻觉的序列级性质，共同优化字幕的准确性和生成内容的逻辑一致性。该方法在不同规模的字幕模型上展示了卓越性能。

该文介绍了一种基于Vision-Transformer的语义蒸馏协助显著目标检测方法，通过融合从生成的图像字幕中语义蒸馏的知识，可以更好地揭示物体之间、物体与环境之间的显著性，并提高了模型性能。在五个基准数据集上的实验表明，该方法优于现有技术。