探索视觉语言组合性和识别的光谱

本文介绍了一个新框架，显著提高了视觉与语言模型对构成性语言的编码能力。

在构成性基准测试中，该模型绝对改进了10%，并在对象识别和检索基准测试中保持或提高了性能。

研究表明，模型在识别细粒度概念方面表现更佳，且相似度评分不能严格反映文本描述的准确性。

提出了新的评价方法以解决学习偏差问题，发现模糊描述容易被模型混淆识别。

通过引入树增强视觉语言模型架构和训练技术，提高了模型的解释能力和组合推理能力。

CoVLM框架通过通信令牌实现视觉感知与大型语言模型的无缝连接，提升了组合推理任务的性能。

使用多模态指导调整的大型语言模型和生成型视觉语言模型，提供了无偏向性的复合性测评基准。

提出了一种轻量级而高效的方法SDS-CLIP，改善了CLIP模型的组合视觉-语言推理能力。

通过新的迭代训练算法，以文化传播作为归纳先验，提升了模型对合成语言特性的学习能力。

介绍了新的任务和数据集Winoground，用于评估视觉和语言模型的组成推理能力。