提升图像 - 文本预训练中的细粒度理解
内容提要
本文综述细粒度视觉—语言对齐研究：SPRM以弱监督学习短语与边界框对应；单通道架构通过跨模态重建和伪标签关键字预测实现多层级对齐；FILIP采用后期交互机制；Sparc改进短语嵌入；SRC进行正则化与解耦对比学习；LOUPE基于博弈论交互实现语义对齐；SelfAlign以自监督对比学习对齐；FineCo用细粒度对比损失处理视频；FineRewards引入两种语义奖励提升图文匹配。
延伸解读
细粒度对齐的多种技术路径
文章综述了多种细粒度视觉-语言对齐方法，包括SPRM的弱监督短语-边界框对应、单通道架构的跨模态重建与伪标签关键字预测、FILIP的后期交互机制、Sparc的短语嵌入改进、SRC的正则化与解耦对比学习、LOUPE的博弈论交互、SelfAlign的自监督对比学习、FineCo的细粒度对比损失以及FineRewards的语义奖励。这些方法从不同角度切入，反映了该领域尚未形成统一框架，读者需根据具体任务和数据条件选择合适方案。
弱监督与自监督降低标注依赖
SPRM通过弱化监督学习短语与边界框的对应关系，在少量训练样例时仍具竞争性能；SelfAlign利用自监督对比学习在概念级和语境级强制对齐；LOUPE无需对象级人工注释即可实现目标检测和视觉定位的竞争性能。这些工作表明，减少对细粒度人工标注的依赖是当前研究的重要趋势，有助于利用大规模原始图像-文本数据。
评估任务与性能表现
各方法在多个视觉-语言任务上验证了有效性：FILIP在零样本图像分类和图像-文本检索上达到最先进性能；Sparc在CuratedTREC和SQuAD-Open上提升4%以上且推理速度至少快45倍；FineCo在YouCookII上实现最先进性能；FineRewards在MS-COCO基准上优于其他基准奖励函数。这些结果说明细粒度对齐对检索、分类、视频问答等下游任务均有实际增益。
Q&A
什么是细粒度视觉-语言对齐？为什么它在图像-文本预训练中重要？
细粒度视觉-语言对齐是指不仅在全局层面（整张图像与整段文本）对齐，还在更细的层次（如图像区域与文本短语、概念/语义层次）建立对应关系。传统对比学习预训练（如双流架构）仅在全局对齐，忽略了细粒度信息，导致模型对细节理解不足。细粒度对齐能提升模型对图像和文本的细粒度理解能力，增强数据效率，并在检索、定位等任务上表现更好。
SPRM模型是如何实现弱监督的短语-边界框对齐的？
SPRM是一个基于弱化监督的视觉-文本对齐模型，它通过组合两个模块的预测结果来学习文本短语和图像边界框之间的对应关系。该方法不需要细粒度的边界框标注，仅使用弱监督信号，就能达到最先进的实验效果，并且在训练样本较少时也具有竞争性能。
单通道架构如何实现多层级细粒度对齐？
单通道架构通过两个新任务在多个层次（全局、细粒度图块-令牌、概念/语义层次）上对齐图像和语言：一是对称跨模态重建，二是伪标签关键字预测。这种设计克服了双流架构仅在全局对齐的局限，实现了更细粒度的对齐和更强的数据效率。
FILIP模型中的后期交互机制有什么特点？
FILIP采用跨模态后期交互机制来实现精细级别的对齐。它在大规模图像-文本对数据集上进行预训练，通过后期交互（late interaction）在细粒度上计算图像区域和文本令牌之间的相似度，从而在零样本图像分类和图像-文本检索等任务上达到最先进的性能。
LOUPE如何利用博弈论实现语义对齐？
LOUPE是一个细粒度语义对齐的视觉-语言预训练框架，它通过博弈论交互的新视角学习精细的语义对齐，并提出了基于不确定性感知Shapley交互的神经网络模块来高效计算博弈论交互。实验表明，LOUPE在多种视觉-语言任务上达到最先进性能，并且无需对象级标注和微调就能实现竞争性的目标检测和视觉定位。
FineRewards方法如何通过语义奖励提升文本-图像匹配？
FineRewards通过引入两种细粒度语义奖励——caption reward和SAM reward，从两个语义视角提升文本到图像生成中的文本-图像匹配，实现模态对齐。在使用多个奖励函数指导训练时，FineRewards在MS-COCO基准测试上优于其他基准奖励函数，并且与当前图像奖励的统一进一步提高了模型性能。
