SEA：用于多模态大语言模型的标记级视觉文本集成的监督嵌入对齐
内容提要
本文研究了多模态大型语言模型（MLLMs）在视觉语言任务中的应用，提出了SNARE基准，并分析了五种先进模型的性能。研究表明，模型中间层更有效地编码全局语义信息，并提出了Contrastive ALignment (CAL)方法以改善视觉关联。此外，新框架E5-V通过单模态训练显著提高了多模态嵌入性能，降低了训练成本，而EE-MLLM则通过改进自注意力机制提升了数据和计算效率。
延伸解读
中间层为何更擅长全局语义编码
文章指出，多模态大语言模型的中间层能更好地编码全局语义信息，在视觉-语言蕴含任务中表征向量表现更优；而最顶层可能过度关注局部信息，导致全局编码能力减弱。这提示在需要整体语义理解的任务中，中间层特征可能比顶层更具利用价值，也为模型层间特征选择提供了依据。
CAL方法：以最小开销改善视觉关联
Contrastive ALignment（CAL）通过对比图像输入，为每个文本标记的预测值差异提供视觉关联指导，并对不同标记赋予不同贡献。实验表明，CAL能在多种基准上持续改善不同类型的视觉语言模型，且相比其他数据调整策略，额外计算开销最小。这为在有限算力下提升模型视觉关联能力提供了实用思路。
E5-V：单模态训练如何降低多模态嵌入成本
E5-V框架通过仅使用文本对进行单模态训练，在图像-文本对传统多模态训练基础上取得显著改进，同时将训练成本降低约95%，并消除了昂贵多模态训练数据收集的需求。在四类任务上，E5-V不仅达到甚至经常超过每项任务的最先进水平，说明单模态训练在多模态嵌入中具有较大潜力。
EE-MLLM：不增参数提升效率的注意力改进
针对多模态大语言模型中数据与计算效率的权衡，EE-MLLM改进了原有自注意力机制，采用组合注意力机制，既不增加额外模块或可学习参数，又有效提升了数据和计算效率。多个基准测试验证了其优越性能，表明在模型架构层面进行轻量级改进，也能在效率与性能之间取得更好平衡。
Q&A
什么是SNARE多模态对齐基准？
SNARE多模态对齐基准是为评估多模态大型语言模型在视觉语言任务中的性能而设计的基准。
E5-V框架如何提高多模态嵌入性能？
E5-V框架通过单模态训练显著提高了多模态嵌入性能，并将训练成本降低了约95%。
Contrastive ALignment (CAL)方法的作用是什么？
CAL方法通过对比图像输入改善视觉关联，提供强大的视觉指导，且计算开销最小。
EE-MLLM是如何提升数据和计算效率的？
EE-MLLM通过改进自注意力机制，采用组合注意力机制，提升了数据和计算效率而不增加额外模块。
多模态大型语言模型（MLLMs）在视觉语言任务中的表现如何？
MLLMs通过整合细粒度的空间感知视觉知识和高级语义视觉证据，提升了对多模态信号的理解和感知能力。
研究发现模型中间层的优势是什么？
研究发现模型的中间层能够更好地编码全局语义信息，而顶层模型可能过于关注局部信息。
