通过模型标签学习实现小型模型的零样本分类
内容提要
本文提出了一种结合知识图谱和语义信息的多标签零样本学习框架，显著提高了分类性能。研究表明，利用未标记数据和大型语言模型生成标签，能有效提升零样本分类的准确性，实验结果显示该方法优于现有技术。
延伸解读
多标签零样本学习的核心挑战
文章指出，多标签零样本学习需在测试时利用多标签相关性，并预测多个未见标签。传统方法常受限于有限标记数据、大量标签分类和开放集分类等问题。所提框架结合知识图谱与语义标签空间信息传播，通过深度回归模型和语义词向量算法，在多个数据集上优于基线，最高提升11.7%。
利用未标记数据与LLM生成标签
文章强调，使用未标记图像集合和大型语言模型自动生成标签，能以非监督方式显著提升零样本分类器性能。与监督训练相比，绝对提升高达11.7%（平均3.8%），与少样本提示基线相比平均增益1.3%。这表明LLM生成的标签可有效替代人工标注，降低对源监督的依赖。
自学习框架S^3A的突破
S^3A框架通过从无标签数据中提取结构语义信息，利用Cluster-Vote-Prompt-Realign算法迭代聚类，并借助LLM生成辨别性提示识别混淆类别，再通过师生学习策略自学习。该方法克服了传统VLMs对部分源监督或理想词汇表的假设，在多个实验中比CLIP平均提高15%以上准确性。
细粒度分类与地理先验的增益
在细粒度领域，利用LLM生成的类别描述和丰富图像分类数据集，可改善VLMs的零样本分类性能，在鸟类和花卉等新类别上平均提高4-5%。地理先验也被证明有效，与视觉特征互补。作者计划发布包含7个数据集的基准，以促进未来零样本识别研究。
Q&A
什么是多标签零样本学习框架？
多标签零样本学习框架结合了知识图谱和语义信息，旨在解决测试时利用多标签相关性的挑战。
该框架如何提高零样本分类的准确性？
通过利用未标记数据和大型语言模型生成标签，该框架显著提高了零样本分类的准确性。
实验结果显示该方法的性能如何？
实验结果表明，该方法在多个数据集上相较于传统监督训练方法有显著提升，最高可达11.7%。
Self Structural Semantic Alignment (S^3A)框架的作用是什么？
S^3A框架通过自学习克服传统方法的限制，准确性提高超过15%。
如何利用大型语言模型改善细粒度领域的零样本分类性能？
通过使用大型语言模型生成的类别描述，结合丰富的细粒度图像分类数据集，平均提高了4-5%的零样本分类准确度。
该研究对未来的零样本识别研究有什么影响？
研究计划发布包含7个数据集的基准测试，以促进未来的零样本识别研究。
