本文探讨了多模态大型语言模型在视觉知识传输和视觉数据识别方面的能力。研究表明，结合视觉和文本数据后，模型在细粒度图像理解和低层次视觉感知任务中表现显著提升。新型模型架构和预训练框架展示了多模态学习的潜力和有效性。

VaLM是一种预训练框架，使用视觉增强语言建模，结合图像检索模块和视觉知识融合层，可以参考文本和图像的视觉知识进行多模态语言建模。在常识推理任务中表现出色，颜色、大小和形状方面的性能优于强语言和视觉语言基线。