跨组合特征解耦用于组合零-shot学习

💡 原文中文,约400字,阅读约需1分钟。
📝

内容提要

本文介绍了使用Composition Transformer(CoT)框架解决组合式零样本学习(CZSL)中的上下文问题、视觉特征可辨识性问题和真实世界组合数据的长尾分布问题的方法。该方法在多个基准测试集上达到了最先进的性能,并展示了在提高视觉辨识能力和解决模型偏差方面的有效性。

🎯

关键要点

  • 使用Composition Transformer(CoT)框架解决组合式零样本学习(CZSL)中的上下文问题、视觉特征可辨识性问题和长尾分布问题。
  • CoT框架通过自下而上提取物体嵌入和自上而下建模上下文性生成属性嵌入。
  • 开发了少数类属性增广(MAA)方法,通过混合图像和过采样合成虚拟样本,解决数据不平衡问题。
  • 在多个基准测试集上(如MIT-States,C-GQA和VAW-CZSL)达到了最先进的性能。
  • 展示了CoT在提高视觉辨识能力和解决模型偏差方面的有效性。
➡️

继续阅读