本研究提出GLS框架,结合几何信息与实例特征,解决室内表面重建与开放词汇分割的关系,性能优于现有技术。
本研究提出了一种新方法FrozenSeg,结合了定位基础模型和视觉语言模型的空间和语义知识,显著提高了开放词汇分割的性能。其他研究还包括OpenSeg模型、适应掩码的CLIP、Fusioner方法、IFSeg方法、预训练的图像-语言模型、开放式词汇学习综述、共享的冻结卷积CLIP、CLIP作为RNN、S-Seg模型、MROVSeg多分辨率训练框架。这些方法在开放词汇语义分割任务中取得了良好的效果。
多篇研究探讨语言与视觉模型的语义嵌入,包括组合语义嵌入z*(经梯度下降优化,在COCO-Stuff上mIoU达42.23,提升开放词汇分割),以及结构化词典输出嵌入层、跨网络表示转换、无监督潜在概念分析、基于PLM的主题聚类、向量量化潜空间、理想词向量组合性、语义基础语言模型和GAN潜在空间视觉概念词汇表等方法。
本文综述扩散概率模型在语义分割中的应用,包括利用预训练扩散模型中间层捕捉语义信息实现少样本分割、借助Stable Diffusion注意力机制生成伪标签以减少像素级标注需求、提出无需训练的DiffSegmenter用于开放词汇分割,以及通过端到端学习、掩模先验和语义扩散网络提升分割性能。
该文综述隐蔽场景理解与隐蔽物体分割的深度学习方法,涵盖弱监督分割、开放词汇伪装物体分割及OVCamo数据集、多图像共分割、统一多任务框架UFO、可解释检测Rank-Net、3D场景分割OmniSeg3D、仿生PFNet、COD10K数据集与SINet基线,以及视频对象分割HCPN;多项方法在各自基准上达到领先性能。
该文综述了基于CLIP等视觉-语言模型的多项研究,涵盖无源跨域目标检测(伪标签与对抗学习、ReCLIP领域自适应、改进伪标签利用)、航拍小目标少样本检测与超大图像实时检测、结合生成模型与CLIP的卫星图像目标检测、CLIP-DIY开放词汇语义分割、基于CLIP特征的AI生成图像检测、S-CLIP半监督训练及AnomalyCLIP零样本异常检测。
自监督图像网络在解决2D任务时高效,但自监督3D网络表现不佳。本文提出了一种改善3D转移的简单方法,并证明了在高容量的3D网络中进行转移对于获得高质量的3D特征至关重要。研究者还发现这种转移表示可用于开放词汇的分割和背景/前景发现。
该文提出了针对开放词汇分割任务的三个新型评估指标,即 Open mIoU、Open AP 和 Open PQ,并在 12 种开放词汇方法上进行了基准测试,旨在为社区带来关于如何评估模型的开放能力的新思考。
完成下面两步后,将自动完成登录并继续当前操作。