本文提出了基于大型语言模型的视觉中心任务框架VisionLLM，旨在统一视觉与语言任务并具备任务定制能力。研究表明，微调多模态语言模型能够提升视觉能力，但某些视觉属性仍需通过语言模型建模。Muffin框架和UniMM-Chat数据集在视觉语言任务中表现优越，而RoboLLM框架在机器人操作中表现出色。研究总结了多模态大语言模型的最新进展及未来方向。