本文提出了一种新训练方法，显著提升了视觉语言模型在语言理解方面的能力，超越了CLIP等模型的图像文本判别和组合能力。

本文探讨了增强视觉模型理解复杂图像文本信息的能力，提出了多模式视频基准“感知测试”，以评估预训练模型的感知与推理能力。同时，研究介绍了利用CLIP模型评估图像质量和抽象感知的方法，并提出了新的图像嵌入相似性评估工具CorrEmbed，旨在提升图像生成模型的评估与发展。

该研究探索了自我监督视觉语言表示法对不同长度和数量的图像文本的鲁棒性。研究使用大规模多模态数据集，并提出了一种基线方法，其在零样本图像集检索表现上超过最先进方法10%。