该文综述多种跨模态对比学习方法:C-MCR无需成对数据,通过重叠模态连接对齐现有表示空间;MMCL用单模态对比编码和伪孪生网络捕捉模态内外动态;Ex-MCR将多个对比表示空间对齐到基准空间,在音频-视觉、3D-图像等任务上取得最优性能;UNIMO统一单模态与多模态的理解与生成;此外还有MUCMM、S³CA、交叉模态学习、COBRA、COOKIE及语音理解等方法,均提升了跨模态检索与表示学习效果。
完成下面两步后,将自动完成登录并继续当前操作。