连接，塌陷，腐败：利用单模态数据学习跨模态任务
内容提要
该文综述多种跨模态对比学习方法：C-MCR无需成对数据，通过重叠模态连接对齐现有表示空间；MMCL用单模态对比编码和伪孪生网络捕捉模态内外动态；Ex-MCR将多个对比表示空间对齐到基准空间，在音频-视觉、3D-图像等任务上取得最优性能；UNIMO统一单模态与多模态的理解与生成；此外还有MUCMM、S³CA、交叉模态学习、COBRA、COOKIE及语音理解等方法，均提升了跨模态检索与表示学习效果。
延伸解读
无需成对数据的跨模态对齐思路
文章介绍的C-MCR和Ex-MCR都强调无需成对训练数据。C-MCR通过在重叠模态上连接现有跨模态表示空间，Ex-MCR则将多个对比表示空间对齐到基准空间。这为缺乏配对数据的场景提供了可行路径，但前提是存在可重叠的模态或已有表示空间，并非完全从零学习。
从单模态到多模态的统一与扩展
UNIMO统一单模态与多模态的理解和生成，利用自由文本和图像集合提升视觉与文本理解，并通过跨模态对比学习对齐语义空间。MMCL则用单模态对比编码和伪孪生网络捕捉模态内外动态。两者都试图在单模态数据上挖掘跨模态信号，但实验覆盖的任务和数据集有限，泛化性需结合具体场景判断。
跨模态检索与表示学习的多样方法
文章列举了MUCMM、S³CA、交叉模态学习、COBRA、COOKIE及语音理解等方法，分别针对共享语义空间、领域适应、类关系保留和检索效率等目标。这些方法在各自基准上报告了优于现有工作的结果，但评估任务和数据集不同，直接比较性能需谨慎，实际部署还需考虑计算开销和数据分布差异。
Q&A
C-MCR 方法如何在不使用成对数据的情况下实现跨模态对齐？
C-MCR 通过在重叠的模态 B 上连接和对齐现有的多模态对比表示（MCR），无需成对训练数据即可实现跨模态匹配，并引入语义增强技术提高准确性。应用于视听对比学习时，在多个数据集上取得了最先进性能。
MMCL 框架中的对比学习任务有哪些？
MMCL 设计了两种对比学习任务：实例对比学习和基于情感的对比学习，以促进预测过程并学习与情感相关的更多交互信息。同时采用单模态对比编码和伪孪生网络来过滤内嵌噪声和捕获跨模态动态。
Ex-MCR 在哪些任务上展示了最先进的性能？
Ex-MCR 通过将 CLAP（音频-文本）和 ULIP（3D-视觉）的对比表示空间对齐到 CLIP（视觉-文本），在音频-视觉、3D-图像、音频-文本、视觉-文本检索和3D物体分类任务上展示了最先进性能。
UNIMO 如何统一单模态和多模态任务？
UNIMO 是一个统一单模态预训练架构，利用大规模自由文本语料库和图像集合提高视觉和文本理解能力，并使用跨模态对比学习将文本和视觉信息对齐到图像-文本对的统一语义空间，从而有效适应单模态和多模态的理解与生成任务。
S³CA 方法在跨模态检索中有什么贡献？
S³CA 利用多层卷积网络和全连接网络对图片和文本提取特征，将多模态数据投影到共享语义空间中进行跨模态（事件）检索，并贡献了一个 Wiki-Flickr 事件数据集，其中的多模态数据样本描述语义事件而非成对描述。实验表明 S³CA 优于当前最先进方法。
COBRA 框架如何降低模态差距？
COBRA 框架结合了 CPC 和 NCE 方法，在联合训练图像和文本时保留内部类关系和外部类关系，从而生成强大的跨模态嵌入空间，大大降低了模态差距，并在七个基准跨模态数据集上的四个下游任务中胜过了现有工作。
