本文探讨了多模态大型语言模型（MLLMs），结合文本和视觉数据，展示生成图像叙述的能力。尽管MLLMs缩小了人与计算机的差距，但仍面临多模态语义差距的挑战。研究分析了模态对齐方法，并提出了多模态转换器MulT，以提高模型处理多样数据的能力，促进对多模态模型的理解与应用。