基于 LMM 的知识在图像分类任务中的利用
内容提要
本文提出了一种新方法，通过多模态模型密集连接视觉实体，利用无类别分割生成实体级分割，并通过特征融合提高细粒度预测效率。研究表明，该方法在全景叙事连接、指称表达分割和全景分割任务中表现优越。同时，探讨了大型语言模型在图像生成中的应用，提出高效训练流程以提升生成质量，并分析了多模态模型的能力与特点。
延伸解读
方法核心：实体级分割与特征融合
文章提出利用大型多模态模型提取语义名词，并通过无类别分割模型生成实体级分割蒙版。多模态特征融合模块将每个语义名词与其对应的分割蒙版关联，并采用颜色映射编码蒙版，使细粒度预测能保留高分辨率特征。该方法使用CLIP视觉编码器从低分辨率图像提取特征，相比处理高分辨率图像的现有方法，计算效率更高。
任务表现与评估结果
在三个任务上验证了方法的优越性：全景叙事连接、指称表达分割和全景分割。实验表明，该方法能有效连接长描述中的视觉实体，并提升分割精度。此外，通过DEEPEVAL评估发现，现有多模态模型对深度语义的理解与人类存在明显差距，但在推理中结合描述文本可显著增强深度语义感知。
多模态模型的能力与局限
文章分析了GPT-4V等大型多模态模型，发现其能处理多种输入、具有广泛通用性，并能通过理解图像上的视觉标记创造新的人机交互方式。然而，模型在深度语义理解上仍与人类有差距。研究还探讨了LLM在图像生成中的应用，提出高效三阶段训练流程，通过轻量级适配器整合文本到图像模型与LLM，在多语言和长输入下获得优秀生成质量。
Q&A
这篇文章提出了什么新方法？
文章提出了一种通过多模态模型密集连接视觉实体的方法，利用无类别分割生成实体级分割。
该方法在图像分类任务中表现如何？
该方法在全景叙事连接、指称表达分割和全景分割任务中表现优越。
多模态特征融合模块的作用是什么？
多模态特征融合模块将每个语义名词与其对应的分割蒙版关联，提高细粒度预测效率。
大型语言模型在图像生成中的应用是什么？
文章探讨了大型语言模型在图像生成中的应用，并提出高效训练流程以提升生成质量。
现有多模态模型的理解能力与人类相比如何？
研究发现现有的大型多模态模型对深度语义的理解能力与人类存在明显差距。
如何实现零样本图像分类？
通过生成全面的文本表示，在交叉模态嵌入空间中生成固定维度特征，并在线性分类器上融合这些特征以进行分类。
