视觉 - 语言模型中被忽视的尾部
内容提要
该文综述视觉-语言模型研究进展，涵盖不平衡数据下的轻量解码器改进、CLIP零样本识别的细粒度优势与相似度偏差、预训练与迁移蒸馏方法，以及BALLAD长尾识别、LOVM评估基准、Re-ViLM检索增强、LLM辅助细粒度分类、SyViC合成数据和VaLM视觉增强语言建模等成果。
延伸解读
长尾分布下的视觉-语言模型改进
文章指出视觉-语言模型在类别不平衡数据集上性能较差，并提出加入轻量解码器与不平衡处理方法的改进方案。在ImageNet-LT、iNaturalist18和Places-LT三个长尾数据集上的实验表明，改进后的模型相比原始零样本分类方法在准确率上有显著提升。这提示读者，长尾场景是当前视觉-语言模型落地时需重点关注的短板，而轻量化解码器与数据重平衡策略是可行的优化方向。
CLIP零样本识别的细粒度优势与相似度偏差
文章探讨了CLIP等对比视觉-语言模型在零样本识别中的表现，发现模型更擅长识别细粒度概念，但相似度评分并不能严格反映文本描述的准确性。相似的模糊描述容易被模型混淆，作者为此提出评估方法以衡量这种学习性偏差。这说明在开放环境下使用视觉-语言模型时，不能仅依赖相似度分数判断可靠性，需警惕语义相近类别间的误判风险。
评估基准与检索增强的进展
文章介绍了LOVM基准用于考核多模态视觉-语言模型的选择与预测能力，以及基于Flamingo的Re-ViLM模型，后者通过检索外部数据库相关知识来减少参数数量并适应新数据评估。研究表明Re-ViLM在图像到文本生成任务上显著提升性能，在无领域内数据和少量领域内数据时，参数数量是基线方法的四倍。这反映出检索增强与标准化评估正成为提升模型泛化能力的重要途径。
合成数据与视觉增强语言建模的探索
文章提到SyViC提供百万级人工合成图像数据集及生成代码，用于提升视觉-语言模型对非物体类词汇和组合推理的理解，在ARO和VL-Checklist基准上分别提升9.9%和4.3%，且不牺牲零样本能力。VaLM则通过图像检索和视觉知识融合层增强语言建模，在颜色、大小、形状等常识推理任务上优于强基线。这些工作表明，合成数据与视觉知识融合是拓展模型概念理解的有效手段。
Q&A
视觉-语言模型在处理不平衡数据集时有什么改进方法？
针对视觉-语言模型在不平衡数据集上性能较差的问题，可以加入轻量级解码器（lightweight decoder）和不平衡处理方法。在ImageNet-LT、iNaturalist18和Places-LT三个数据集上的实验表明，改进后的模型相比原始零样本分类方法在准确率上有显著提升。
CLIP等对比视觉-语言模型在零样本识别中有什么优势和不足？
CLIP等对比视觉-语言模型更擅长识别细粒度概念，但相似度评分并不能严格反映文本描述的准确性，相似的模糊描述容易被模型混淆识别。研究者提出了评价方法来评估这种学习性偏差问题。
BALLAD是什么？它如何用于长尾视觉识别？
BALLAD是一种利用对比学习方法结合视觉感知与语言理解的长尾数据集视觉识别方法。在大量实验中，它比竞争性基线表现更优异。
LOVM基准测试是用来做什么的？
LOVM是一个新的基准测试，用于对多模态视觉-语言模型进行选择和预测的考核评估，以推动该热门研究课题的发展。
Re-ViLM模型有什么特点？它如何提升图像到文本生成的性能？
Re-ViLM是基于Flamingo模型的检索增强视觉-语言模型，支持检索外部数据库的相关知识，减少模型参数数量，适应新数据评估。它显著提高了图像到文本生成任务的性能，在没有领域内数据和少量领域内数据的情况下，参数数量是基线方法的四倍。
如何利用大型语言模型提升视觉-语言模型在细粒度分类上的零样本性能？
通过使用大型语言模型生成的类别描述和丰富的细粒度图像分类数据集，并在训练中利用图像-文本监督，可以改善视觉-语言模型在细粒度领域的零样本分类性能。在鸟类和花卉等新颖类别上，零样本分类准确度平均提高了4-5%。地理先验也被证明有效，与视觉特征互补。
SyViC合成数据集是什么？它如何提升视觉-语言模型的组合推理能力？
SyViC是一个百万级的人工合成图像数据集，附带数据生成代码和细调模型策略。它旨在提高视觉-语言模型对非物体类词汇（超越名词的视觉语言概念）的理解和组合推理能力。在ARO和VL-Checklist基准上，使用合成数据训练可以在不牺牲零样本能力的情况下大幅提升VLC理解能力（ARO提高9.9%，VL-Checklist提高4.3%）。
VaLM预训练框架是如何增强语言建模的？
VaLM是一种预训练框架，通过图像检索模块检索相应图像，并使用视觉知识融合层使多模态语言建模可以参考文本和图像的视觉知识，在需要时获取相关图片。在视觉知识密集型的常识推理任务上，VaLM在推理对象的颜色、大小和形状方面优于强语言和视觉语言基线。
