本文介绍了一种多模态学习的编码器-解码器模型，能够有效学习图像和文本的联合嵌入。研究涵盖了UNITER和E5-V等模型，强调其在视觉-语言任务中的应用和优势。E5-V通过单模态训练降低了训练成本，并在多模态嵌入方面表现出色，推动了多模态语言模型的研究。

本文研究了多模态大型语言模型（MLLMs）在视觉语言任务中的应用，提出了SNARE基准，并分析了五种先进模型的性能。研究表明，模型中间层更有效地编码全局语义信息，并提出了Contrastive ALignment (CAL)方法以改善视觉关联。此外，新框架E5-V通过单模态训练显著提高了多模态嵌入性能，降低了训练成本，而EE-MLLM则通过改进自注意力机制提升了数据和计算效率。