人言兑
·
CURD 程序员，该如何理解 AI 大模型中的多模态（Multimodal）？
内容提要
多模态AI大模型（MLLM）通过处理文本、图像、音频和视频等信息，提升了AI的理解能力。主流模型如Gemini和文心5.0强调原生多模态训练，能够更好地理解复杂信息。多模态应用包括视觉问答、视频理解和医疗辅助，展现了AI从“只读文字”到“观察世界”的转变。
关键要点
-
多模态AI大模型（MLLM）能够处理文本、图像、音频和视频等多种信息，提升AI的理解能力。
-
多模态学习是研究如何让AI同时处理、关联和融合不同模态的数据。
-
主流的多模态大模型架构包括视觉编码器、投影层和推理模块，能够将图像和文本信息结合进行处理。
-
原生多模态训练从一开始就将多种模态信息混合训练，具有更强的跨模态理解能力。
-
多模态应用场景包括视觉问答、视频理解、图文生成、文档理解和医疗辅助等。
-
多模态模型的评测基准多样，但存在通过刷题提高分数而不代表真实理解的问题。
-
多模态模型的发展迅速，理解其基本框架有助于适应新模型的出现。
延伸解读
多模态的实际应用场景
多模态AI大模型的应用场景非常广泛，包括视觉问答、视频理解和医疗辅助等。通过结合不同模态的信息，这些模型能够更好地理解复杂问题。例如，在医疗领域，AI可以通过分析X光片和病历文本，提供更准确的诊断建议。这种跨模态的能力使得AI在实际应用中更具价值。
原生多模态与后期拼接的比较
多模态模型的发展分为原生多模态和后期拼接两种路线。原生多模态从训练初期就将多种模态信息混合训练，具有更强的跨模态理解能力。而后期拼接则是先训练文本模型，再添加视觉模块，虽然速度较快，但理解能力有限。选择合适的模型架构对应用效果至关重要。
评测基准的局限性
当前多模态模型的评测基准多样，但存在通过刷题提高分数而不代表真实理解的问题。这意味着在选择模型时，用户应关注实际使用体验，而不仅仅是评测分数。人类盲测投票的榜单逐渐受到重视，因为它更能反映模型在真实场景中的表现。
延伸问答
多模态AI大模型的定义是什么？
多模态AI大模型（MLLM）是指能够同时处理文本、图像、音频和视频等多种信息的模型，提升AI的理解能力。
多模态学习的主要研究内容是什么？
多模态学习研究如何让AI同时处理、关联和融合不同模态的数据，以实现更全面的信息理解。
多模态大模型的工作流程是怎样的？
多模态大模型的工作流程包括三个步骤：视觉编码、投影对齐和推理生成。
原生多模态训练与后期拼接有什么区别？
原生多模态训练从一开始就将多种模态信息混合训练，而后期拼接是在已有文本模型的基础上添加视觉模块。
多模态AI的实际应用场景有哪些？
多模态AI的应用场景包括视觉问答、视频理解、图文生成、文档理解和医疗辅助等。
多模态模型的评测基准存在哪些局限性？
多模态模型的评测基准多为选择题或短答案，模型可能通过刷题提高分数，但不代表真实理解能力。
