零射影像哈希的综合属性探索
内容提要
该研究提出Composition Transformer框架，用于组合零样本学习。该框架自下而上提取物体嵌入、自上而下生成属性嵌入，并开发少数类属性增广方法应对长尾分布，在MIT-States、C-GQA和VAW-CZSL等基准上达到最先进性能。
延伸解读
CoT框架的核心机制
Composition Transformer（CoT）采用自下而上和自上而下相结合的方式：底层提取物体嵌入，顶层通过对象引导的注意力模块生成属性嵌入，显式建模上下文性。这种设计旨在同时解决组合零样本学习中的上下文问题、视觉特征可辨识性问题，并提升对物体与属性组合的表示能力。
少数类属性增广的作用
针对真实世界组合数据的长尾分布，研究提出了少数类属性增广（MAA）方法。它通过混合两张图像并过采样少数类属性来合成虚拟样本，以缓解数据不平衡导致的预测偏差。实验表明，该方法有助于提高视觉辨识能力并减少模型偏差。
性能表现与评估基准
CoT在多个基准测试集上达到了最先进的性能，包括MIT-States、C-GQA和VAW-CZSL。这些基准通常用于评估组合零样本学习模型对未见组合的泛化能力。结果表明，CoT在解决上下文建模和长尾分布问题上具有有效性。
Q&A
Composition Transformer（CoT）框架是什么？它主要解决什么问题？
Composition Transformer（CoT）是一个用于组合零样本学习（CZSL）的简单可扩展框架，旨在解决上下文问题、视觉特征可辨识性问题和真实世界组合数据的长尾分布问题。
CoT框架是如何工作的？
CoT框架通过底层的自下而上方式提取代表性的物体嵌入，并通过顶层的自上而下方式，利用显式建模上下文性的对象引导注意力模块生成代表性的属性嵌入。
少数类属性增广（MAA）方法是什么？它有什么作用？
少数类属性增广（MAA）是一种简单的方法，通过混合两张图像和过采样少数类属性来合成虚拟样本，以解决不平衡数据分布引起的预测偏差。
CoT框架在哪些数据集上达到了最先进的性能？
CoT框架在MIT-States、C-GQA和VAW-CZSL等基准测试集上达到了最先进的性能。
CoT框架在提高视觉辨识能力和解决模型偏差方面有什么效果？
CoT框架展示了在提高视觉辨识能力和解决因不平衡数据分布而引起的模型偏差方面的有效性。
组合零样本学习（CZSL）面临哪些主要挑战？
组合零样本学习面临上下文问题、视觉特征可辨识性问题和真实世界组合数据的长尾分布问题。
