语义辅助校准的开放词库分割

原文约500字，阅读约需2分钟。发表于：。

本文通过使用 CLIP 的广义上下文先验，通过校准在词汇内和领域偏置的嵌入空间，研究开放词汇分割（OVS）。为了解决这一挑战，我们提出了一个称为 Semantic-assisted CAlibration Network（SCAN）的方法，并引入了广义语义先验以避免在已知类别上崩溃。此外，我们还提出了一种名为 Semantic-Guided IoU（SG-IoU）的新度量标准，以解决现有评估系统忽略分类间语义重复的问题。

计算机视觉中的目标检测和分割在深度学习时代取得了巨大进展，但现有数据集的标注类别较小且预定义，无法推广到开放词汇之外。近年来，越来越多的关注集中在开放词汇检测和分割上。本调研提供了对过去和最新开放词汇检测和分割发展的全面审查，包括不同方法学的分类和讨论，并提供了一些有前途的方向，以激发未来的研究。