OVMR：华为北大联手，基于多模态融合的SOTA开放词汇识别 | CVPR 2024 - 晓飞的算法工程笔记
原文中文，约10800字，阅读约需26分钟。发表于：。即插即用的方法OVMR将新类别的多模态线索嵌入到VLM中，以增强其在开放词汇识别中的能力。它最初利用多模态分类器生成模块将示例图像嵌入到视觉标记中，然后通过推断它们与语言编码器的上下文关系来自适应地融合多模态线索。为了减轻低质量模态的负面影响，通过一个无参数融合模块根据每个类别对这些分类器的特定偏好
OVMR是一种用于开放词汇识别的方法，通过将文本描述和示例图像输入到视觉-语言模型中，生成多模态分类器。它使用无参数融合模块来自适应地融合单模态和多模态分类器。实验结果表明，OVMR在图像分类和目标检测任务中表现优于其他方法。
