探索多模态大型语言模型的全局和局部语义表示
内容提要
综述了多模态大语言模型（MLLMs）的研究进展，涵盖视觉语言表示学习、专家混合增强视觉感知、架构与对齐策略、跨模态投影作用、泛化边界评估及细粒度图像理解改进。MLLMs在图像文本检索等任务中显著提升性能，但分布外泛化仍存挑战，模态对齐方法至关重要。
延伸解读
数据质量提升视觉语言表示
文章指出，利用多模态大语言模型扩展图像标题并采用“文本切割”方法，可提高视觉语言表示学习的数据质量。在图像文本检索任务中，微调设置下R@1提升5.6%至35.0%，零样本设置下提升16.8%至46.1%，且零样本结果可与目标数据集上的微调相媲美。这表明MLLMs在多方面使用上具有潜力，鼓励进一步探索。
专家混合增强视觉感知
通过专家混合知识增强机制，集成视觉专家，MLLMs能更全面准确地概括视觉输入，从而提升视觉感知能力。该方法在图像描述、视觉问答和视觉定位等任务中达到与最新模型相当或超越的性能。这提示我们，结合领域专家知识是改善MLLMs视觉理解的有效途径。
跨模态投影的作用再审视
实验表明，对MLLMs进行微调虽获得特定领域视觉能力，但更新不会导致提取相关视觉属性；即使仅微调投影，领域特定视觉属性仍由语言模型建模。这重新解释了交叉模态投影的作用，暗示视觉信息可能通过语言模型间接处理，而非直接由投影编码。
泛化边界与对齐挑战
评估显示，MLLMs在分布外情景和特定领域任务中泛化困难，需适应性调整。上下文学习在领域偏移、标签偏移和虚假相关偏移下表现脆弱。此外，模态对齐方法选择至关重要，不当方法可能需更多参数且性能提升有限。这强调了鲁棒对齐策略的必要性。
Q&A
多模态大型语言模型（MLLMs）在视觉语言表示学习方面有哪些提升？
MLLMs通过提高数据质量来增强视觉语言表示学习，例如使用MLLMs扩展每个图像的多个标题，并通过“文本切割”方法防止偏见和内在标题风格。在图像文本检索中，微调设置下R@1提升5.6~35.0%，零样本设置下提升16.8~46.1%，零样本结果可与目标数据集上的微调相媲美。
如何改善多模态大型语言模型的视觉感知能力？
可以通过专家混合知识增强机制来改善MLLMs的视觉感知能力，集成视觉专家实现对视觉输入更全面准确的概括。此外，引入pool-adapter模块保留视觉嵌入的位置信息，也能提升图像描述、视觉问答和视觉定位等任务的性能。
多模态大型语言模型中的跨模态投影有什么作用？
实验表明，对MLLMs进行微调时，即使只对投影进行微调，领域特定的视觉属性仍由语言模型来建模，更新不会导致提取相关的特定领域视觉属性。这提供了对交叉模态投影作用的潜在重新解释。
多模态大型语言模型在分布外泛化方面表现如何？
MLLMs在常见训练域之外的泛化上存在困难，需要经过适应性的直接应用。上下文学习在分布偏移下表现脆弱，包括领域偏移、标签偏移和上下文示例与测试数据之间的虚假相关偏移。
有哪些方法可以改善多模态大型语言模型的细粒度图像理解？
通过融合先进的目标检测和光学字符识别模型（如DINO和PaddleOCRv2），在MLLMs基础上进行实证研究，可以改善细粒度图像理解并减少虚构现象。基于嵌入的方法融合检测信息，在10个基准测试中有9个超过先进模型，平均得分最高提升12.99%。
多模态大型语言模型中的模态对齐方法有哪些类别？
模态对齐方法分为四组：（1）多模态转换器将数据转换为LLMs可理解的格式；（2）多模态感知器改善LLMs对不同类型数据的感知能力；（3）工具辅助将数据转换为常见格式（通常是文本）；（4）数据驱动方法教导LLMs理解数据集中特定类型的数据。选择适当的模态对齐方法至关重要。
