本文介绍了多种视觉语言模型(VLMs)的微调方法,包括CLIP-Adapter、通用熵优化(UEO)和OrthCR等。这些方法在小样本学习和未知类别识别中表现优异,提升了模型的泛化能力和鲁棒性,适应现实数据分布的挑战。
本研究提出了一种基于粗糙标注的细粒度类别发现方法,结合自对比学习和有监督学习,以降低标记成本并提高聚类准确性。通过动态概念对比学习和自平衡协助对比框架,增强了细粒度类别的发现能力。此外,研究还提出了主动广义类别发现和正则化参数InfoMax方法,显著提升了未知类别的识别性能。实验结果验证了这些方法的有效性。
完成下面两步后,将自动完成登录并继续当前操作。