该文综述组合零样本学习(CZSL)的多项进展:提出条件属性嵌入框架、Composition Transformer(CoT)结合自下而上物体嵌入与自上而下属性注意力,并用少数类属性增广缓解长尾分布;采用交叉注意力分离概念嵌入、地球移动距离度量相似度;利用CLIP语言信息分布增强未知组合泛化;基于图卷积的余弦图嵌入与外部知识估计可行性;以及数据合成与双向投影学习,均在MIT-States等基准上取得领先表现。
该研究提出Composition Transformer框架,用于组合零样本学习。该框架自下而上提取物体嵌入、自上而下生成属性嵌入,并开发少数类属性增广方法应对长尾分布,在MIT-States、C-GQA和VAW-CZSL等基准上达到最先进性能。
本文介绍了使用Composition Transformer(CoT)框架解决组合式零样本学习(CZSL)中的上下文问题、视觉特征可辨识性问题和真实世界组合数据的长尾分布问题的方法。CoT框架通过自下而上提取物体嵌入,并通过自上而下生成属性嵌入。同时,提出了少数类属性增广(MAA)方法解决数据分布不平衡引起的预测偏差。该方法在多个基准测试集上达到最先进性能,并展示了提高视觉辨识能力和解决数据分布不平衡的有效性。
研究人员提出了一种使用Composition Transformer(CoT)框架解决组合式零样本学习(CZSL)中上下文问题、视觉特征可辨识性问题和真实世界组合数据长尾分布问题的简单可扩展方法。CoT框架通过自下而上提取物体嵌入,并通过自上而下建模上下文性的对象引导注意力模块生成属性嵌入。研究人员还开发了少数类属性增广(MAA)方法,通过混合图像和过采样少数类属性合成虚拟样本,解决数据分布不平衡引起的预测偏差。该方法在多个基准测试集上达到最先进性能,展示了CoT在提高视觉辨识能力和解决数据分布不平衡引起的模型偏差方面的有效性。
完成下面两步后,将自动完成登录并继续当前操作。