Multimodal Generalized Category Discovery
💡
原文英文,约100词,阅读约需1分钟。
📝
内容提要
本研究提出了新框架MM-GCD,解决了广义类别发现方法只适用于单模态数据的问题,并在两个数据集上取得了最先进性能。
🎯
关键要点
- 本研究提出了新框架MM-GCD,解决了广义类别发现方法只适用于单模态数据的问题。
- MM-GCD通过对比学习和蒸馏技术有效对齐不同模态的特征和输出空间。
- 实验结果表明,MM-GCD在UPMC-Food101和N24News数据集上取得了最先进性能,分别超越了前一个方法11.5%和4.7%。
- 广义类别发现(GCD)旨在将输入分类为已知和新类别,这对于开放世界科学发现至关重要。
➡️