Multimodal Generalized Category Discovery

💡 原文英文,约100词,阅读约需1分钟。
📝

内容提要

本研究提出了新框架MM-GCD,解决了广义类别发现方法只适用于单模态数据的问题,并在两个数据集上取得了最先进性能。

🎯

关键要点

  • 本研究提出了新框架MM-GCD,解决了广义类别发现方法只适用于单模态数据的问题。
  • MM-GCD通过对比学习和蒸馏技术有效对齐不同模态的特征和输出空间。
  • 实验结果表明,MM-GCD在UPMC-Food101和N24News数据集上取得了最先进性能,分别超越了前一个方法11.5%和4.7%。
  • 广义类别发现(GCD)旨在将输入分类为已知和新类别,这对于开放世界科学发现至关重要。
➡️

继续阅读