CLIP模型中文本-图像模态差距的原因与意义
内容提要
语义嵌入是现代AI模型的核心，嵌入理论有两个部分：AI模型创建向量表示事物，向量之间的空间关系表示事物之间的关系。多模态模型中存在模态差距，即图像和文本在嵌入空间中的位置相距较远。这是结构性问题，可能没有解决方案。训练温度和对比学习也会影响模态差距。解决这个问题可能具有广泛的影响。
延伸解读
模态差距的根源：初始化偏差与训练动态
文章指出，模态差距主要源于三个因素：初始化偏差（锥形效应）、训练温度降低以及对比学习过程。锥形效应指预训练的图像和文本编码器在联合训练前，其嵌入空间已呈现分离的锥形结构，这种偏差在训练后依然存在，甚至加剧。训练温度降低使模型难以“忘记”初始偏差，而对比学习中的假阴性问题进一步推远了不同模态的嵌入。这些因素共同导致图像和文本嵌入在空间中相距较远。
高温训练的权衡：缩小差距与性能下降
实验表明，提高训练温度可以显著缩小模态差距，使图像和文本嵌入更接近。然而，这会导致模型在检索任务上的性能大幅下降，且恢复缓慢。高温训练需要更长时间和更多计算资源，因此并非实际可行的解决方案。这揭示了缩小模态差距与保持模型性能之间的权衡，提示未来可能需要更精细的训练策略来平衡两者。
对比学习的缺陷：假阴性问题加剧模态差距
对比学习通常通过随机组合图像和文本来构造不匹配对，但这些“不匹配”对可能实际上存在语义关联（如都包含“狗”），导致模型错误地推开相关概念。实验显示，使用随机批次训练比使用包含重复图像的批次训练，模态差距更大（平均余弦距离0.7521 vs 0.7840）。这表明标准对比学习实践无意中加剧了模态差距，需要更谨慎地构造负样本。
更广泛的影响：多语言模型与未知偏见
模态差距可能不仅限于图像-文本模型。文章推测，多语言嵌入模型可能因类似训练方法而存在语言间的差距。此外，模型可能编码了其他未被察觉的偏见，如社会或文化因素。这些“新兴语义现象”值得进一步研究，解决模态差距问题可能对多语言模型和AI公平性产生广泛影响。
Q&A
什么是模态差距，它对多模态模型有什么影响？
模态差距是指在嵌入空间中，图像和文本的向量位置相距较远的现象。这种差距会影响模型的性能，使得模型在处理图像和文本时无法有效匹配。
模态差距的主要来源是什么？
模态差距的主要来源包括初始化偏差（锥形效应）、训练温度的降低以及对比学习程序，这些因素会无意中加剧模态差距。
如何通过训练温度来影响模态差距？
提高训练温度可以使模型在训练过程中更快地调整嵌入位置，从而缩小模态差距，但这可能会影响模型的整体性能。
对比学习如何影响模态差距？
对比学习的标准实践可能会无意中强化模态差距，因为它主要依赖于匹配和不匹配的图像-文本对，而不匹配的对可能并不完全无关。
模态差距对多语言嵌入模型有什么潜在影响？
模态差距可能在多语言嵌入模型中也存在，尤其是在共同训练多种语言时，可能导致语言之间的差距，影响模型的表现。
如何解决模态差距问题？
目前模态差距被认为是一个结构性问题，可能没有明确的解决方案，但可以通过调整训练方法和参数来尝试减小其影响。
