基于视觉和文本先验的蒙版组装用于少样本分割及更多应用

BriefGPT - AI 论文速递 · 2023-08-15T00:00:00Z

本文介绍了一种用于任意描述的显式开放分类的Panoptic分割方法。首先建立了一个没有调优或蒸馏的基线方法，然后开发了一个新的基于Transformer的方法MaskCLIP，使用ViT-CLIP骨架和掩模查询来执行语义和物体实例分割。在ADE20K和PASCAL数据集上取得了令人鼓舞的结果，并展示了MaskCLIP的定制类别的定性说明。