COSMO：简化的对比多模态流模型与交错预训练
内容提要
该文综述多模态视觉-语言预训练的研究进展，涵盖文本符号融合的视频检索、Flamingo的少样本上下文学习、伪文本回放缓解连续学习遗忘、排序损失提升细粒度理解、VideoCon增强视频字幕鲁棒性、VICTOR构建中文视频语言代理任务、CG-VLM结合对比与生成实现对齐、AuxLM与MLM融合改进图像描述、TCL三重对比学习提升检索与问答，以及Cheetah增强指令遵循能力。
延伸解读
从检索到生成：多模态预训练的任务光谱
文章梳理的工作覆盖了多模态预训练的多类任务：视频检索、图像描述、视觉问答、指令遵循等。这反映出该领域从早期的对比学习对齐（如TCL、CG-VLM）逐步扩展到生成式任务（如AuxLM与MLM融合改进图像描述）和复杂指令理解（如Cheetah）。读者可借此理解不同方法在任务定位上的差异，而非仅关注单一性能指标。
持续学习与鲁棒性：被忽视的实用挑战
文中提到的伪文本回放缓解连续学习遗忘、VideoCon增强视频字幕对语义合理对比变化的鲁棒性，指向了实际部署中常被忽略的问题：模型在增量数据上训练时可能遗忘旧知识，且对语义微妙的负样本容易误判。这些工作提示读者，评估多模态模型时除准确率外，还需关注遗忘程度和对抗性变化下的稳定性。
中文多模态资源与代理任务设计
VICTOR基于包含1000万视频及高质量中文描述的大规模数据集，通过对比学习构建新型代理任务。这与其他工作多基于英文基准形成对照，说明中文视频-语言理解需要专门的数据和任务设计。读者可留意，代理任务的质量和多样性直接影响模型捕捉复杂多模态语义的能力，而非单纯依赖数据规模。
细粒度理解：无需额外标注的改进路径
文章介绍了一种基于模态内和跨模态排序损失的策略，无需额外注释或参数即可应用于使用图像-文本对比损失训练的模型，并在CLIP上提升了细粒度基准性能。这提示读者，在标注成本高昂的多模态领域，利用排序损失等训练目标改进现有对比模型，是提升细粒度推理能力的可行方向，且易于迁移到不同VLM。
Q&A
在多模态检索中，如何利用预训练对比模型和文本符号融合信息？
研究发现，用离散文本符号表示视频的方法在利用预训练对比模型和文本符号融合信息时取得了最佳效果。
Flamingo模型如何实现少样本学习？
Flamingo通过桥接强大的预训练视觉和语言模型，处理任意交错的视觉和文本数据序列，并无缝输入图像或视频进行评估和测试，从而表现出上下文的一步学习能力，仅需少量注释示例即可适应新任务。
连续多模态学习中如何缓解遗忘问题？
通过伪文本回放和多模态知识蒸馏的方法，实现基于图像和文本对的连续预训练，大幅提高了零样本图像分类和图像-文本检索任务的性能。
如何提升视觉-语言模型在细粒度任务上的性能？
提出基于模态内和跨模态排序损失的策略，无需额外注释或参数，可应用于任何使用图像-文本对比损失训练的VLM。应用于CLIP时，在三个细粒度基准测试上显著提高性能，并增强X-VLM在细粒度推理上的表现。
VideoCon如何增强视频-语言对齐模型的鲁棒性？
VideoCon通过构建基于对比视频字幕的大规模对齐数据集，应对语义上合理的对比变化，在人为生成的对比字幕上AUC指标提升12个百分点，并在时间广泛的视频-语言任务（如文本到视频检索和视频问答）中表现出零样本最新性能。
VICTOR框架在中文视频-语言理解中有什么特点？
VICTOR通过对比学习范式构建新型代理任务，使模型更稳健并捕捉复杂多模态语义和结构关系。在大规模中文视频语言数据集（1000万视频及高质量文本描述）上训练，在一系列下游应用中展示优越性能，并与VideoBERT和UniVL等先进预训练方法进行了比较。
CG-VLM模型如何实现视觉-语言对齐？
CG-VLM通过将对比和生成方法应用于ViT和LLM的表示对齐，有效实现视觉-语言对齐，成为一种高效的指令学习器。
如何改进生成的图像描述的质量？
提出一个通用的多模态模型融合框架，将预训练的辅助语言模型（AuxLM）和掩码语言模型（MLM）进行多模态融合，以改进生成的图像描述的质量并纠正语法和语义错误，在三个基准数据集上显示出明显改进。
TCL三重对比学习框架在视觉-语言预训练中有什么优势？
TCL通过交叉模式对齐和内部模态自我监督提高学习的代表性，并通过最大化图像/文本局部区域与全局摘要之间的平均互信息，在图像-文本检索和视觉问答等任务中取得优异表现。
Cheetah模型如何提升多模态大语言模型的指令遵循能力？
Cheetah通过引入I4基准测试综合评估指令遵循能力，提出智能控制知识重新注入模块和无标注跨注意力引导的反事实图像训练策略，从而在复杂视觉语言指令中有效处理，达到I4中所有任务的零样本最新水平，并与当前MME基准的最新指导优化模型相比具有竞争力。
