基于上下文和多样性驱动的合成零样本学习中的特异性
内容提要
该文综述组合零样本学习（CZSL）的多项进展：提出条件属性嵌入框架、Composition Transformer（CoT）结合自下而上物体嵌入与自上而下属性注意力，并用少数类属性增广缓解长尾分布；采用交叉注意力分离概念嵌入、地球移动距离度量相似度；利用CLIP语言信息分布增强未知组合泛化；基于图卷积的余弦图嵌入与外部知识估计可行性；以及数据合成与双向投影学习，均在MIT-States等基准上取得领先表现。
延伸解读
组合零样本学习中的上下文与长尾挑战
组合零样本学习（CZSL）要求模型识别未见过的“物体-属性”组合，但真实数据中组合分布往往呈现长尾特征，少数类属性样本稀缺，导致预测偏差。文章提到的Composition Transformer（CoT）通过自下而上的物体嵌入和自上而下的属性注意力显式建模上下文，并利用少数类属性增广（MAA）合成虚拟样本，以缓解不平衡问题。这提示读者，处理CZSL时需同时关注上下文建模与数据分布校正。
多技术路线推动开放世界CZSL性能提升
文章综述了多种提升CZSL性能的技术路线：交叉注意力分离概念嵌入、地球移动距离度量相似度、基于CLIP语言信息分布增强未知组合泛化、图卷积余弦图嵌入估计可行性，以及数据合成与双向投影学习。这些方法在MIT-States、C-GQA等基准上取得领先表现，表明开放世界CZSL正通过融合视觉-语言模型、外部知识和图结构等多源信息来提升泛化能力。
可行性估计与外部知识在开放世界中的作用
在开放世界CZSL中，模型需判断未见组合的可行性。文章提到基于图卷积的余弦图嵌入方法通过估计可行性得分调整损失权重，以及KG-SP模型利用外部知识估计可行性并引入部分监督设置。这些工作显示，引入外部知识或可行性估计有助于模型在开放世界中区分合理与不合理的组合，减少误判，为实际部署提供了思路。
Q&A
组合零样本学习（CZSL）面临哪些主要挑战？
CZSL面临的主要挑战包括上下文问题、视觉特征可辨识性问题以及真实世界组合数据的长尾分布问题。
Composition Transformer（CoT）是如何工作的？
CoT通过底层的自下而上方式提取代表性的物体嵌入，并通过顶层的自上而下方式，利用显式建模上下文性的对象引导注意力模块生成代表性的属性嵌入。
少数类属性增广（MAA）方法有什么作用？
MAA通过混合两张图像和过采样少数类属性来合成虚拟样本，以解决不平衡数据分布引起的预测偏差。
PLID模型如何提升未知组合的泛化性能？
PLID模型利用CLIP模型的语言信息分布，通过软提示类嵌入式的组合和原始的嵌入式混合策略来融合一致的分类决策，从而增强未知组合视觉概念的泛化性能。
KG-SP模型在开放世界CZSL中有什么特点？
KG-SP模型基于primitive预测，使用external knowledge估计可行性，并引入了CZSL under partial supervision的新设置，在开放世界场景中实现了优于竞争对手的表现。
这些方法在哪些基准数据集上取得了领先表现？
这些方法在MIT-States、C-GQA、VAW-CZSL、UT-Zappos等基准数据集上取得了领先表现。
