BriefGPT - AI 论文速递
·
学习调整 CLIP 的元特征以实现少样本分类的类别一致性
💡
原文中文，约500字，阅读约需2分钟。
📝
内容提要
本研究提出了一种高效的微调方法，将经典算法高斯判别分析（GDA）应用于图像预训练模型CLIP的下游分类任务中。该方法在少样本分类、不平衡学习和超出分布泛化等方面表现优秀，并可扩展到基于新类别的推理和无监督学习。
🎯
关键要点
- 本研究提出了一种高效的微调方法，将高斯判别分析（GDA）应用于CLIP的下游分类任务。
- 该方法在少样本分类、不平衡学习和超出分布泛化等方面表现优秀。
- GDA假设每个类别的特征服从具有相同协方差的高斯分布。
- 通过将GDA与CLIP的原始零-shot分类器集成，融合视觉和文本模态的知识。
- 在17个数据集上的实验结果显示，该方法超过或达到了最先进方法的效果。
- 方法可扩展到基于新类别的推理和无监督学习，展示了其优越性。
- 研究代码已在GitHub上公开可用。
➡️
