视觉和语言编码器是否相似地代表世界？
内容提要
该文综述多模态对比学习研究：句子嵌入训练可提升视觉-语言模型性能，但对音频-语言预训练帮助有限，且改善文本空间均匀性却降低跨模态对齐；线性变换可将视觉信息传递给固定语言模型，聚类编码与师生蒸馏能实现图像文本对齐；CLIP作视觉编码器在多任务上表现优异，大规模噪声图文对配合双编码器对比学习亦可达到先进水平。
延伸解读
句子嵌入训练的双面效应
文章指出，句子嵌入训练能提升视觉-语言对比模型的性能，但对音频-语言预训练帮助有限，可能因预训练数据量不足。同时，这种训练改善了文本空间的均匀性，却降低了跨模态对齐性。这说明优化语言编码器时需权衡表示均匀性与模态间对齐，不能简单认为句子嵌入训练普遍有益。
线性变换连接视觉与固定语言模型
研究发现，通过单一线性变换即可将视觉模型的特征表示传递给固定的文本型语言模型，并达到与同时调整图像和文本的模型相同的指标。这表明语言模型的概念表示与图像模型在结构上相似，甚至能转移视觉信息，为无需联合训练的多模态融合提供了简单有效的途径。
CLIP作为视觉编码器的优势与探测发现
CLIP作为视觉编码器在多种视觉-语言任务上显著优于现有编码器，并在视觉问答、视觉蕴涵和导航等任务上取得新高峰。但基于图像字幕生成的探测方法发现，视觉语言预训练模型主要对齐对象和视觉词，忽略全局语义，且存在固定句子模式，无视语法和流畅性，提示其跨模态语义对齐仍有局限。
大规模噪声数据与简单双编码器的有效性
利用超过10亿个嘈杂图像-文本对，采用简单双编码器架构和对比损失学习视觉与语言表示，语料库规模可弥补噪声，即使简单学习方案也能达到最先进表现，使跨模式搜索更易实现。这凸显了数据规模在弥补噪声和简化模型设计中的关键作用。
Q&A
句子嵌入训练对视觉-语言和音频-语言模型分别有什么影响？
句子嵌入训练有助于提高对比视觉-语言模型的性能，但在音频-语言预训练中效果较少，可能是由于预训练数据量有限所致。
句子嵌入训练如何影响表示空间的均匀性和跨模态对齐？
句子嵌入训练改善了文本空间的均匀性，但降低了跨模态对齐性。
如何在不训练的情况下将视觉信息传递给固定的语言模型？
通过单一的线性变换，可以将视觉模型的特征表示连续地传递给被固定的文本型语言模型，从而取得与同时调整图像和文本的模型相同的指标。
CLIP作为视觉编码器在视觉-语言任务中表现如何？
CLIP作为视觉编码器显著优于现有的视觉编码器，并在多种视觉与语言任务中取得竞争或更好的结果，同时在Visual Question Answering、Visual Entailment和V&L Navigation等任务上取得了新高峰。
使用大规模噪声图文对进行对比学习能达到什么效果？
利用包含超过10亿个图像备选文本对的嘈杂数据集，采用简单的双编码器体系结构通过对比损失学习图像和文本对的视觉和语言表示，显示出语料库的规模可以弥补其噪音，即使使用这样的简单学习方案也能实现最先进的表现，使跨模式搜索变得更加容易。
基于聚类表示学习的多模态对齐方法是什么？
该方法使用字典聚类编码将图像和文本编码到一个共同的编码空间中，并采用师生蒸馏的方法进一步优化学习过程，在多种视觉语言基准测试中取得了最新的最佳结果。
