放下你的标签：无监督迁移
内容提要
本文介绍了一种利用未标记图像和大型语言模型自动生成标签的方法，显著提升了零样本分类器的性能，多个数据集的提升可达11.7%。该方法能够在没有训练数据的情况下识别对象，并从无监督文本中获取知识，推动了图像翻译和视觉分类器的无监督学习发展。
延伸解读
无监督标签生成如何提升零样本分类
文章指出，利用未标记图像和大型语言模型自动生成标签，可以显著提升零样本分类器的性能，在多个数据集上绝对提升高达11.7%，平均提升3.8%。与少样本提示基线相比，平均增益为1.3%。这表明，在没有人工标注的情况下，通过语言模型从无监督文本中获取知识，能够为视觉分类提供有效的语义基础。
MUST方法在ImageNet上的表现
Masked Unsupervised Self-Training（MUST）是一种利用目标领域无标注数据改进预训练零样本分类器的无监督微调方法。在ImageNet上，使用ViT-B的准确率达到77.7%，比CLIP高9.4%，比16-shot CLIP适应高6.2%。这显示了无监督微调在提升零样本模型性能方面的潜力。
ZeroG：零样本迁移到图领域
ZeroG框架将零样本迁移学习扩展到图领域，旨在减少特征不对齐、标签空间不匹配和负迁移等挑战。它使用语言模型编码节点属性和类别语义，确保一致的特征维度，并通过基于提示的子图采样和轻量级微调降低过拟合风险。在Pubmed上，ZeroG甚至能达到与半监督学习相媲美的结果。
Q&A
无监督迁移学习的主要优势是什么？
无监督迁移学习能够在没有训练数据的情况下识别对象，并显著提升零样本分类器的性能，多个数据集的提升可达11.7%。
TUNIT模型的功能是什么？
TUNIT模型可以在没有成对数据或领域标签的情况下进行图像翻译，并在各种数据集上表现出可比甚至更好的性能。
Masked Unsupervised Self-Training（MUST）方法的有效性如何？
MUST方法在各种下游任务上证明了其有效性，尤其是在ImageNet上的准确率高达77.7%。
ZeroG框架的作用是什么？
ZeroG框架扩展了零样本迁移学习范式到图领域，减少了特征不对齐和标签空间不匹配等挑战。
如何利用无监督学习改进视觉分类器？
通过使用视觉和语言数据，利用无监督任务发现学习一个任务特定的视觉分类器，并将其转移到视觉问答模型中。
无监督迁移学习在计算机视觉中的应用有哪些？
无监督迁移学习在计算机视觉中应用于零样本迁移、图像翻译和视觉问答等任务，展现出竞争力。
