Finer: 大规模视觉语言模型中细粒度视觉概念识别的研究与增强
内容提要
视觉语言模型在细粒度理解上仍面临挑战。相关研究提出多种改进方案：FineR利用大语言模型提升语义细分类别推理；ViGoR通过细粒度奖励建模增强视觉定位；SPEC基准揭示领先模型在属性理解上接近随机，并提出优化方法；ViLLA解决复杂数据下细粒度关系学习退化问题；VistaLLM统一多种视觉语言任务。这些工作共同推动细粒度视觉语言理解的发展。
延伸解读
细粒度理解仍是VLM的短板
文章指出，视觉语言模型在属性和物体关系等细粒度概念理解上仍面临重大挑战。SPEC基准测试显示，四个领先模型在物体尺寸、位置、存在和数量理解上表现接近随机猜测，这揭示了当前模型在细粒度视觉语言理解方面的根本性局限。
多种技术路径尝试突破
针对细粒度理解难题，研究者提出了不同改进方案：FineR利用大语言模型作为代理提升语义细分类别推理；ViGoR通过细粒度奖励建模增强视觉定位；ViLLA采用自监督映射和对比学习解决复杂数据下的关系学习退化。这些方法从推理、奖励和表示学习等角度切入。
评估基准与优化方法并进
SPEC基准通过合成属性变化的图像来诊断模型理解能力，并基于此提出简单有效的优化方法，在不影响零样本性能的情况下显著提升细粒度理解。ViLLA在零样本目标检测和检索等任务上优于其他模型，表明针对性的架构改进能带来实际性能提升。
Q&A
视觉语言模型在细粒度理解上面临哪些主要挑战？
视觉语言模型在属性和物体间关系等细粒度视觉语言概念的理解上仍面临重要挑战，例如在物体尺寸、位置、存在和数量理解上表现接近随机猜测。
FineR 如何提升细粒度视觉概念识别？
FineR 使用大型语言模型作为代理，在语义细分类别推理方面表现出更好性能，优于几种先进的 FGVR 和语音与视觉助手模型，并展示了在野外和新领域中工作的潜力。
ViGoR 框架在视觉定位方面有什么改进？
ViGoR 通过细粒度的奖励建模，显著提高了大型视觉语言模型在视觉 grounding 上的效果，使用较便宜的人工评估和自动化方法，有效减少了视觉输入的不准确性问题，并构建了一个用于验证视觉 grounding 能力的全面且具有挑战性的数据集。
SPEC 基准测试揭示了视觉语言模型的哪些局限性？
SPEC 基准测试用于诊断物体尺寸、位置、存在和数量理解，四个领先的 VLM 在 SPEC 上的表现接近随机猜测，揭示了重大局限性。
ViLLA 如何解决细粒度关系学习退化问题？
ViLLA 通过两个组件（自监督映射模型和对比视觉语言模型）来训练捕捉复杂数据集中图像区域与文本属性的细粒度关系，在细粒度推理任务（如零样本目标检测和检索）上表现优于其他视觉语言模型。
VistaLLM 在统一视觉语言任务方面有什么特点？
VistaLLM 是一种能够处理视觉输入并统一各种视觉-语言任务的通用视觉系统，利用指令调整的方法解决了在单一框架中集成分割、多图像输入和粗粒度任务的问题，通过使用说明的图像分词器提取压缩和精炼特征，以及使用梯度感知的自适应采样技术将二进制分割掩膜表示为序列，显著提高了性能。
