Harmony: 一种联合自监督和弱监督框架,用于学习通用的视觉表示

💡 原文中文,约400字,阅读约需1分钟。
📝

内容提要

本研究提出了名为Harmony的框架,结合了视觉-语言训练和自监督学习,能在各种视觉任务中表现优异。与其他方法相比,Harmony在评估任务上表现更好。

🎯

关键要点

  • 本研究提出了名为Harmony的框架,结合视觉-语言训练和自监督学习。
  • Harmony能够学习在视觉下游任务中泛化的视觉特征。
  • Harmony在ImageNet-1k的微调和零样本分类、ADE20K的语义分割、MS-COCO的目标检测和实例分割等任务中表现优于基线CLIP和其他方法。
  • 与其他自监督学习方法(如iBOT和MAE)相比,Harmony在所有评估任务上表现更优。
➡️

继续阅读