OVMR：华为北大联手，基于多模态融合的SOTA开放词汇识别 | CVPR 2024 - 晓飞的算法工程笔记
内容提要
OVMR是一种用于开放词汇识别的方法，通过将文本描述和示例图像输入到视觉-语言模型中，生成多模态分类器。它使用无参数融合模块来自适应地融合单模态和多模态分类器。实验结果表明，OVMR在图像分类和目标检测任务中表现优于其他方法。
延伸解读
多模态线索的互补优势
OVMR同时利用文本描述和示例图像作为新类别线索，挖掘两者的互补信息。文本提供可泛化的语义，图像提供判别性视觉细节，从而生成更强大的分类器。这种多模态融合策略避免了单一模态的局限性，如文本歧义或图像质量参差不齐，提升了开放词汇识别的鲁棒性。
自适应融合机制
OVMR通过基于偏好的融合模块动态集成单模态和多模态分类器。该模块利用示例图像作为验证集，评估每个分类器的性能（如F1分数），并据此分配融合权重。这种无参数方法能减轻低质量模态的负面影响，确保最终分类器在不同类别上都能保持稳健。
高效即插即用设计
OVMR的视觉标记生成器是唯一可训练组件，且与类别无关，避免了过拟合。它可无缝集成到预训练的视觉-语言模型中，无需微调整个模型。这种即插即用特性使其能高效适应分类和检测任务，在11个分类数据集和LVIS检测数据集上均取得优越性能。
与现有方法的差异
不同于提示学习需要微调且易过拟合，OVMR不学习类别特定参数。与MM-OVOD和MQ-Det等固定融合权重的方法相比，OVMR动态评估模态偏好，更适应示例或文本质量变化。这种两阶段流程在低质量线索场景下表现更稳健，提升了开放词汇识别的泛化能力。
Q&A
OVMR的主要功能是什么？
OVMR是一种用于开放词汇识别的方法，通过将文本描述和示例图像输入到视觉-语言模型中生成多模态分类器。
OVMR如何处理低质量模态的影响？
OVMR使用无参数融合模块自适应地融合单模态和多模态分类器，以减轻低质量模态的负面影响。
OVMR在实验中表现如何？
OVMR在11个图像分类数据集和LVIS目标检测数据集上进行了大量实验，结果显示其优越性能。
OVMR与传统方法相比有什么优势？
OVMR能够高效地将新类别线索集成到模型中，避免了传统方法的过拟合问题，并且不需要大量资源进行预训练。
OVMR是如何生成多模态分类器的？
OVMR通过动态融合视觉示例和文本描述，利用轻量级视觉标记生成器和语言编码器生成多模态分类器。
开放词汇识别的挑战是什么？
开放词汇识别旨在识别训练集之外的未见过的对象，这是一项具有挑战性的任务，因为模型对测试集中的新类别一无所知。
