视觉 - 语言变换模型的零射击和系统评估之间的有趣差异
内容提要
该文综述视觉-语言模型的零样本识别研究，指出CLIP等模型擅长细粒度概念，但相似度评分未必反映文本准确性，模糊描述易被混淆；表示空间存在不可区分输入，导致过度泛化。零样本能力主要依赖识别类标签，属性数量影响显著。研究还涉及文本-图像生成、跨语言视频检索及反欺诈等应用。
延伸解读
相似度评分不等于文本准确性
文章指出，CLIP等对比视觉-语言模型的相似度评分并不能严格反映对应文本描述的准确性。这意味着在实际应用中，仅凭相似度高低判断图文匹配可能产生误导。尤其当描述模糊时，模型容易混淆相似但不同的概念。因此，在依赖零样本识别时，需谨慎对待模型给出的置信度，避免过度信任评分。
表示空间的不可区分性导致过度泛化
研究显示，视觉-语言模型的表示空间由大型分段线性子空间和局部正常空间组成，存在不同输入具有相同表示、以及视觉上难以区分的不同表示。这种特性使模型容易过度泛化，迁移能力有限。理解这一局限有助于在开放环境中合理设定模型预期，并针对性地改进表示学习。
零样本能力主要依赖类标签识别
文章分析表明，视觉-语言模型的零样本学习主要通过识别语言中的类标签实现，而非真正理解属性。属性数量的变化会显著影响模型表现。这提示在零样本任务中，类标签的设计和质量至关重要，增加属性可能带来性能波动，需在具体应用中权衡。
跨语言零样本迁移存在性能下降
在多语言文本到视频搜索中，用非英语句子查询时模型性能显著下降。文章通过多语言多模态预训练策略和新数据集MultiHowTo100M，提升了非英语视频搜索效果，无需额外注释。这表明跨语言零样本应用需专门优化，直接迁移可能效果不佳。
Q&A
CLIP等视觉-语言模型在零样本识别中主要擅长什么？
研究表明，CLIP等模型更擅长识别细粒度概念，但相似度评分并不能严格反映相应文本描述的准确性。
为什么视觉-语言模型的相似度评分可能不可靠？
因为相似的模糊描述很容易被模型混淆识别，且相似度评分并不能严格反映文本描述的准确性。
视觉-语言模型的表示空间存在哪些问题？
表示空间由大型分段线性子空间和局部正常空间组成，存在不同输入具有相同表示，以及视觉上难以区分的不同表示输入，导致模型容易过度泛化且迁移能力有限。
视觉-语言模型的零样本能力主要依赖什么？
模型主要通过识别语言中的类标签实现零样本学习，属性数的变化会显著影响其表现。
在零样本跨语言视频检索中，模型面临什么挑战？
用非英语句子查询多语言文本-视频模型时性能显著下降，需要引入多语言多模态预训练策略来提升效果。
视觉-语言模型在零样本反欺诈方面有何应用？
基于视觉Transformer模型的零样本反欺诈方法在HQ-WMCA和SiW-M数据集的零样本协议上优于现有技术，并在跨数据库性能上取得显著提升。
