本研究提出了一种多尺度视觉知识对齐方法，解决了多模态大语言模型在视觉理解中的知识对齐不足问题。TinyGroundingGPT模型在接地任务中表现优异，性能与更大模型相当。

VaLM是一种预训练框架，使用视觉增强语言建模，结合图像检索模块和视觉知识融合层，可以参考文本和图像的视觉知识进行多模态语言建模。在常识推理任务中表现出色，颜色、大小和形状方面的性能优于强语言和视觉语言基线。