本文综述视觉语言预训练模型的跨模态语义对齐机制,指出现有模型主要对齐对象和视觉词,忽略全局语义,存在固定句式、无视语法流畅性等问题。多项研究提出改进方案:单通道架构实现全局、图块—令牌、概念多层次对齐;MVPTR实现多层语义对齐;SemVLP结合单双流对齐不同语义粒度;CL2CM实现跨语言迁移;多粒度框架用于医学图像;聚类表示学习等,提升细粒度对齐与数据效率。
完成下面两步后,将自动完成登录并继续当前操作。