两种效应，一个触发器：关于对比式视觉语言表示学习中的模态差异、物体偏见和信息不平衡
内容提要
该研究探讨了模态间隙对多模态模型性能的影响，提出了基于 intra-modal 和 cross-modal rank loss 的新策略，显著提升了细粒度任务的表现。同时，分析了模态偏差问题，提出自适应损失函数以改善多项任务的性能，强调视觉表示学习的重要性。
延伸解读
模态间隙的几何本质与影响
文章将模态间隙定义为多模态表示空间中的几何现象，并系统分析了其与模型初始化及对比学习优化的关系。研究表明，严格维持不同模态之间的分离，有助于提升下游分类性能和公平性。这意味着模态间隙并非单纯缺陷，合理利用可能带来性能增益。
排序损失策略的实用价值
针对视觉语言模型在细粒度任务上的不足，文章提出基于模态内和跨模态排序损失的策略。该策略无需额外注释或参数，可直接应用于任何使用图像-文本对比损失训练的模型。在CLIP上应用后，三个细粒度基准测试性能显著提升，并增强了X-VLM的细粒度推理能力。
模态偏差的解决方案与验证
文章通过构建两个基于分布外协议的数据集，提出一种自适应的即插即用损失函数，用于减少多模态分类系统中的模态偏差。在彩色数字识别、视频动作识别和视觉问答三个任务上，该方法均实现了明显的性能改进，证明了其在缓解模态偏差方面的有效性。
视觉表示学习的待解难题
通过对比CLIP视觉嵌入空间与仅视觉自监督学习，文章发现当前多模态大语言模型在视觉能力上仍存在系统性缺陷。为此提出的特征混合方法，将视觉自监督学习特征与多模态大语言模型结合，显著提升了视觉基础能力。这表明准确的视觉基础对于未来多模态系统至关重要。
Q&A
模态间隙是什么，它对多模态模型有什么影响？
模态间隙是多模型表示空间中的几何现象，研究表明保持不同数据模态之间的分离有助于提高模型的分类性能和公平性。
研究中提出了哪些新策略来提升细粒度任务的表现？
研究提出了一种基于 intra-modal 和 cross-modal rank loss 的新策略，显著提升了细粒度任务的表现。
如何解决多模态模型中的模态偏差问题？
通过构建基于 Out-of-Distribution 协议的数据集和提出自适应损失函数，研究在多个任务上实现了明显的性能改进。
视觉表示学习在多模态系统中有何重要性？
视觉表示学习对于多模态系统的成功至关重要，当前多模态大型语言模型在视觉能力方面存在缺陷。
研究中如何评估人工模型的偏差？
研究通过引入基于认知科学文献的方法工具，建立基准测试来评估人工模型的偏差。
CLIP模型在视觉能力方面存在哪些缺陷？
研究发现，CLIP模型在不同类别级别上的图像分类受到单词嵌入的影响，且这种影响与语义关系无关。
