SyCoCa: 对称化的关注屏蔽对齐的对比式字幕生成器
内容提要
该文综述图像-文本跨模态预训练与对齐研究：CoCa以对比式注解器统一编码解码；CyCLIP优化几何一致性以提升零样本分类与鲁棒性；利用合成图文对增强模态对齐；MimCo结合掩码建模与对比学习；基于连贯性关系提升字幕质量；ComCLIP分解子图像实现组合匹配；线性语义映射实现跨模型嵌入迁移；MaskCLIP引入掩码自蒸馏学习局部信息；跨模态相似性难度度量提升字幕泛化；Token-Aware Cascade改进文本-视频检索等任务。
延伸解读
CoCa 架构的核心改动
CoCa 在解码器前半段省略跨注意力，先编码单模态文本表示，再级联其余解码器层对图像编码器进行跨模态注意力。这种设计使编码器和解码器能统一预训练，并将所有标签视为文本训练，从而在多种视觉任务上达到当时最优性能。
CyCLIP 的几何一致性优化
CyCLIP 显式优化图像和文本空间的几何一致性，提升模型一致性。在标准基准上，相比 CLIP，零样本分类准确率提高 10%-24%，对自然分布变化的鲁棒性提高 10%-27%，说明几何约束能同时改善分类与分布偏移下的表现。
合成图文对与掩码自蒸馏的互补思路
有研究用预训练文本到图像模型生成图像，并优化合成图像在 CLIP 嵌入空间中的伪特征以接近真实特征，同时利用显著对象增强对齐。MaskCLIP 则将掩码自蒸馏融入对比语言-图像预训练，学习局部信息传递，并在文本分支引入局部语义监督，补充对比学习。
下游任务与评估方法的改进
Token-Aware Cascade 通过考虑单词语法类别的 token-aware 对比损失和级联采样，在文本-视频检索、视频动作定位与分割任务上超越以往方法，并在 YouCook2、MSR-VTT 和 ActivityNet 基准上取得最佳表现。另有基于跨模态相似性的难度度量，用于字幕模型训练，在难样本和未见数据上展现较高泛化能力。
Q&A
CoCa模型在结构上有什么特别之处？
CoCa是一种对比式注解器，它使图像和文本的编码器和解码器能够预先训练。与标准的编码器-解码器变压器不同，它在解码器的前半段省略跨关注以编码单模态文本表示，并级联其余解码器层，以便对图像编码器进行跨模态图像文本表示的跨关注。
CyCLIP如何提升CLIP模型的性能？
CyCLIP通过显式优化图像和文本空间的几何一致性来提高模型的一致性和表现。在标准基准测试中，与CLIP相比，零样本分类准确率提高了10%-24%，对自然分布变化的鲁棒性提高了10%-27%。
如何利用合成图像文本对改善跨模态对齐？
该方法使用预训练的文本到图像模型生成图像，并优化合成图像在CLIP嵌入空间中的伪特征以接近真实图像特征，同时利用图像中的显著对象来增强模态对齐的学习。实验证明在基准数据集上取得了最先进的性能。
MimCo预训练框架有什么特点？
MimCo是一种新型、灵活的预训练框架，通过两阶段的预训练将掩码图像建模（MIM）和对比学习相结合，提高了MIM预训练表示的线性可分性，取得了优越的性能。
ComCLIP如何解决复合图像和文本匹配问题？
ComCLIP通过将输入图像分解为主题、对象和动作子图像，并组合CLIP的视觉编码器和文本编码器，在组成性文本嵌入和子图像嵌入上执行动态匹配，从而实现对差异性语义的建模，提高了CLIP的零样本推理能力。
MaskCLIP框架的主要创新是什么？
MaskCLIP将掩码自蒸馏方法融入对比语言-图像预训练中，利用掩码自蒸馏学习局部信息传递，补充文本相关表示的对比学习，并从自然语言中间接获得监督。同时，在文本分支引入局部语义监督，在不同任务中取得了很好的效果。
