多级交叉模态对齐图像聚类
内容提要
本文综述视觉语言预训练模型的跨模态语义对齐机制，指出现有模型主要对齐对象和视觉词，忽略全局语义，存在固定句式、无视语法流畅性等问题。多项研究提出改进方案：单通道架构实现全局、图块—令牌、概念多层次对齐；MVPTR实现多层语义对齐；SemVLP结合单双流对齐不同语义粒度；CL2CM实现跨语言迁移；多粒度框架用于医学图像；聚类表示学习等，提升细粒度对齐与数据效率。
延伸解读
从“对象对齐”到“全局语义”的补课
文章指出，现有视觉语言预训练模型主要对齐对象和视觉词，却忽略全局语义，还依赖固定句式、无视语法流畅性。这解释了为何模型在细粒度任务上表现尚可，却可能在整体语义理解上失准。后续研究通过单通道架构、多层语义对齐和多粒度框架，试图在全局、图块—令牌和概念等层次上补足对齐，方向是从“词级匹配”走向“语义级理解”。
单双流之争：对齐粒度与数据效率的权衡
文章提到，双流架构仅在全局层面做对比对齐，细粒度信息容易丢失；单通道架构则通过对称跨模态重建和伪标签关键字预测，在多个层次上对齐图像与语言，从而提升数据效率。SemVLP 则结合单流与双流，用共享 Transformer 和可插入跨模态注意模块对齐不同语义粒度。可见，架构选择直接影响对齐粒度与训练成本，并非单纯“越复杂越好”。
跨语言与医学场景：对齐方法的落地边界
文章列举了 CL2CM 在无标注视觉—目标语言数据下实现跨语言迁移，以及多粒度框架在医学图像中利用病理区域、实例和疾病级别语义一致性提升下游任务表现。这些案例说明，跨模态对齐方法正从通用基准走向低资源语言和垂直领域。但文章也提示，不同场景对“语义粒度”的需求不同，通用对齐策略未必能直接套用，需结合领域数据结构设计。
Q&A
视觉语言预训练模型在跨模态语义对齐上存在哪些主要问题？
现有VLP模型主要对齐对象和视觉词，忽略了全局语义，并且存在固定的句子模式，无视语法和流畅性。
单通道架构如何实现多级交叉模态对齐？
单通道架构使用两个新任务在多个层次（全局、细粒度图块-令牌和概念/语义层次）上对齐图像和语言，这两个新任务是对称跨模态重建和伪标签关键字预测，从而实现更细粒度的对齐和更强大的数据效率。
MVPTR方法在视觉语言预训练中有什么特点？
MVPTR通过内部多层次表示学习和不同粒度的跨模态语义对齐任务来学习概念表示，强调多模态、多层次的学习能够协同促进表示学习。
SemVLP如何结合单流和双流预训练进行语义对齐？
SemVLP通过单流预训练和双流预训练相结合，使用共享Transformer网络和可插入的跨模态注意模块，在不同的语义层次上对图像和文本进行联合对齐，实验表明该方法可对齐不同语义粒度。
CL2CM框架解决了什么问题？
CL2CM是一个通用框架，使用跨语言转移改善视觉和目标语言之间的对齐，无需标注的视觉-目标语言数据对，并在多语言图像-文本数据集和视频-文本数据集上验证了其有效性和高潜力。
在医学图像分析中，有哪些多级交叉模态对齐的方法？
基于多任务配对掩模对齐（MPMA）的统一Med-VLP框架设计了全局和局部对齐（GLA）模块和记忆增强型跨模态融合（MA-CMF）模块；基于多粒度跨模态对齐的框架利用病理区域级别、实例级别和疾病级别上医学图像和放射学报告之间的自然语义一致性来学习泛化的医学视觉表征，在七个下游医疗图像任务上表现卓越。
