长尾多标签图像分类的类别提示精炼特征学习
内容提要
本研究探讨了不同平衡策略对长尾识别的影响，发现简单的实例平衡抽样能有效提升分类器性能。提出的多阶段训练方案和提示调整方法在长尾分类中表现优异，尤其在多个数据集上取得了先进结果。此外，研究构建了统一框架，结合文本和图像，显著提高了小类别的识别能力。
延伸解读
解耦学习：表示与分类器分开优化
文章指出，长尾识别中数据不平衡可能不影响高质量表示的学习。使用最简单的实例平衡抽样学习表示后，仅调整分类器就能获得强大性能，甚至超越复杂损失、采样策略及记忆模块。这提示我们，将表示学习和分类器训练解耦，可以更清晰地分析不平衡的影响，并简化模型设计。
多阶段训练与提示调整的演进
从SSD多阶段训练方案到长尾Prompt调整方法，研究展示了如何通过软标签融入标签相关性，以及两阶段训练可调节提示符。这些方法在长尾分类中表现优异，与全模型微调相比具有可比较的性能且更强大，表明提示调整是应对长尾问题的有效途径。
统一框架提升小类别识别
研究构建了结合文本和图像的统一框架，如LMPT和PVLR，通过类特定嵌入损失、双提示策略等，显著提高了小类别的识别能力。在MS-COCO和VOC 2007等数据集上，这些方法优于现有最先进方法，说明多模态信息融合对长尾多标签分类至关重要。
无需训练数据的新范式
最新研究提出无需训练数据的框架，利用预训练大型语言模型的知识学习提示，使CLIP等视觉-语言模型适应多标签分类。通过层次化提示学习考虑标签依赖性，在MS-COCO上零样本多标签识别mAP超过4.7%，为探索多个预训练模型协同提供了新途径。
Q&A
长尾多标签图像分类的研究主要探讨了什么内容？
研究探讨了不同平衡策略对长尾识别的影响，提出了多阶段训练方案和提示调整方法。
简单的实例平衡抽样如何影响分类器性能？
简单的实例平衡抽样能有效提升分类器性能，甚至超越复杂的损失和采样策略。
研究中提出的多阶段训练方案是什么？
多阶段训练方案（SSD）通过软标签有效进行长尾识别，取得了先进结果。
如何提高小类别的识别能力？
通过构建统一框架，结合文本和图像，显著提高小类别的识别能力。
Prompt调整方法在长尾分类中的表现如何？
Prompt调整方法在长尾分类中表现优异，具有可比较的性能。
该研究的实验结果如何？
在多个数据集上进行的实验表明，所提出的方法优于现有的最先进方法。
