FLEX-CLIP: Feature-Level Generation Network Enhanced CLIP for X-shot Cross-Modal Retrieval

💡 原文英文,约100词,阅读约需1分钟。
📝

内容提要

该研究提出FLEX-CLIP方法,解决传统少样本跨模态检索中的特征退化和数据不平衡问题。通过生成伪样本和融合CLIP特征,实验结果显示在四个基准数据集上的性能提高了7%至15%。

🎯

关键要点

  • FLEX-CLIP方法解决了传统少样本跨模态检索中的特征退化和数据不平衡问题。
  • 该方法通过复合多模态VAE-GAN网络生成伪样本。
  • 利用门控残差网络融合CLIP特征,增强了特征的表达能力。
  • 实验结果显示,FLEX-CLIP在四个基准数据集上的性能提高了7%至15%。
➡️

继续阅读