基于原型的新类别发现与检测
内容提要
该文综述开放词汇目标检测与新类别发现研究，利用CLIP零样本能力，在嵌入空间线性混合生成代理新类以提升泛化；从图像-字幕对自动生成伪框注释扩展基础类别；提出层次分类、等角原型、自适应自标记、知识蒸馏及PCL字幕标注等方法，缓解灾难性遗忘与类别偏差，在LVIS、COCO等基准上取得优越性能。
延伸解读
开放词汇检测的代理新类生成思路
文章提出在CLIP嵌入空间中线性混合虚拟生成代理新类，以模拟接近真实新类的分布。这种方法无需真实新类标注，就能提升开放词汇检测模型对新类的泛化能力。其核心在于利用预训练视觉语言模型的零样本能力，结合伪区域标注的外部数据，为模型提供更丰富的类间插值信息，从而在LVIS和COCO等基准上取得优越的新类分类性能。
自动伪框注释扩展基础类别
针对基础类别标注有限的问题，文章提出从大规模图像-字幕对中自动生成多样物体的伪包围框注释。这一方法扩大了训练基础类别的范围，使模型能接触到更广泛的物体外观和上下文。实验表明，该方法比最先进的开放词汇检测器有更好的检测结果，说明利用弱监督信号自动构建伪标注是提升检测器泛化性的有效途径。
缓解灾难性遗忘与类别偏差的策略
文章综述了多种应对新类别发现中灾难性遗忘和类别偏差的方法，包括层次分类框架、等角原型表示、自适应自标记、知识蒸馏以及PCL字幕标注等。这些方法分别从分类器校准、原型几何约束、最优传输自标记、特征蒸馏和属性关系丰富等角度，平衡已知类与新类的学习，在CIFAR100、ImageNet100、iNaturalist18等数据集上取得卓越结果。
Q&A
基于原型的新类别发现与检测主要研究什么？
该研究综述开放词汇目标检测与新类别发现，利用CLIP零样本能力，在嵌入空间线性混合生成代理新类以提升泛化；从图像-字幕对自动生成伪框注释扩展基础类别；提出层次分类、等角原型、自适应自标记、知识蒸馏及PCL字幕标注等方法，缓解灾难性遗忘与类别偏差，在LVIS、COCO等基准上取得优越性能。
如何利用CLIP的零样本能力改进开放词汇目标检测？
通过利用预训练视觉和语言模型（如CLIP）的零样本能力，结合伪区域标注的外部数据源，在CLIP嵌入空间中通过线性混合虚拟生成接近新颖类的代理新颖类，从而改进开放词汇目标检测模型的泛化能力，并在LVIS和COCO等基准上表现出优越的新颖类分类性能。
如何从图像-字幕对中自动生成伪包围框注释？
研究提出一种方法，从大规模图像-字幕对中自动生成多样物体的伪包围框注释，以扩大训练基础类别的范围，实验证明该方法在各种数据集上比最先进的开放词汇检测器有更好的检测结果。
什么方法可以减轻新类别发现中的类别偏差？
基于等角原型表示的自适应自标记策略，通过解决弛化的最优传输问题，更有效地发现不平衡的新类别，从而有效减轻已知和新类别学习中的偏差，并在CIFAR100、ImageNet100、Herbarium19和大规模iNaturalist18数据集上取得了卓越的结果。
如何防止新类别发现中的灾难性遗忘？
本文提出了NCDwF（无遗忘新类别发现）这一新的实际问题，并使用生成拟变量表示、基于互信息的正则化以及已知类别标识符等方法进行了研究，通过基于CIFAR-10、CIFAR-100和ImageNet-1000的实验验证了其在已有知识保留和新类别发现之间的平衡效果。
Pseudo Caption Labeling (PCL) 方法是什么？
PCL是一种简单而有效的方法，利用图像字幕模型生成对不同角度目标实例的描述，通过这些大量的数据样本进行知识提炼，以丰富目标的属性和关系等细节，从而提高模型的性能，实验表明该方法可以与任何图像字幕模型一起使用，不需要对模型架构或训练流程进行任何限制。
