多模态大模型能同时处理多种形式数据输入输出，学习不同模态之间的关联和映射关系，发现隐藏在数据中的复杂跨模态模式。目前在图片理解方面效果较好，但在视频和音频理解方面仍有待改进。多模态大模型整体处于发展阶段，但在垂直场景下已能做出一些之前做不到或做不好的应用。