文本知识的重要性：跨模态共教带来的一般化视觉类别发现
内容提要
本文介绍了多种基于文本和图像的半监督聚类方法，如动态概念对比学习（DCCL）和广义类别发现（GCD）。这些方法在多个数据集上表现优异，特别是在细粒度识别和长尾分布类别发现方面。
延伸解读
文本知识如何提升视觉聚类
文章强调引入CLIP等视觉-语言模型，利用文本描述辅助图像聚类。基于文本检索的机制能挖掘带标签和无标签文本库中的信息，实现联合图像+文本的半监督聚类，并在多个数据集上取得最优结果。这表明文本知识能为视觉任务提供额外的语义监督，尤其在标注数据有限时，有助于提升聚类准确性。
细粒度与长尾场景的针对性改进
针对细粒度识别和长尾分布，文章介绍了DCCL和Long-tailed GCD等方法。DCCL通过交替估计视觉概念和学习概念表示，在细粒度数据集上表现突出；Long-tailed GCD则通过重新加权机制和类先验约束，在ImageNet100上实现约6-9%的改善。这些方法说明，针对数据分布特点设计机制能有效缓解类别不平衡和细粒度区分难题。
持续发现与主动学习的结合
文章还涉及持续发现新类别和主动学习。MetaGCD利用元学习框架和邻域对比网络，在已知类别中持续发现新类别；GCCD通过无监督学习在任务中同时发现新旧类别；AGCD则主动选择有限样本进行标注以改善性能。这些方向表明，广义类别发现正从静态场景向动态、交互式场景扩展，以应对现实世界中类别不断涌现的需求。
Q&A
什么是动态概念对比学习（DCCL）框架？
动态概念对比学习（DCCL）框架通过交替估计视觉概念和学习概念表示，提高聚类准确性，尤其在细粒度识别上表现良好。
MetaGCD方法的主要特点是什么？
MetaGCD方法使用元学习框架和基于邻域的对比网络，能够在已知类别中持续发现新类别，实验结果显示其优越性。
如何解决长尾分布的广义类别发现问题？
通过重新加权机制和类先验约束，支持稀有类别和预期类别分布，从而在长尾分布的广义类别发现中实现性能提升。
广义连续类别发现（GCCD）框架的优势是什么？
GCCD框架通过无监督学习发现新旧类别，实验证明其在表示学习性能上优于现有技术。
新提出的跨模态检索方法有什么创新之处？
该跨模态检索方法利用生成式模型学习多模态数据的全局和本地特征，在MSCOCO数据集上实现了最先进的检索结果。
主动广义类别发现（AGCD）设置的目的是什么？
AGCD设置旨在通过主动选择有限数量的有价值样本进行标注，从而改善广义类别发现的性能。
