弱监督实例分割的完整实例挖掘
内容提要
该文综述弱监督实例分割研究，通过自训练、对比学习、点标签、LiDAR与3D框、多模态监督等方法降低标注成本、提升伪标签质量并缓解语义漂移，在PASCAL VOC、COCO、nuScenes、Waymo等数据集上取得领先性能，部分方法无需实例预训练。
延伸解读
弱监督实例分割的标注成本优势
文章指出，弱监督实例分割通过图像级标签、点标签、LiDAR点云与3D框等弱监督信号，替代昂贵的2D掩码标注，显著降低标注成本。例如，基于LiDAR导引的框架利用点云和3D框作为自然弱监督信息，大幅减少2D掩码注释需求；WSSIS使用点标签实现高效实例分割。这些方法在保持性能的同时，为自动驾驶等领域提供了更经济的标注方案。
伪标签质量与语义漂移的应对策略
弱监督方法常面临伪标签噪声和语义漂移问题。文章提到，通过自训练方案改进伪标注，并利用对比学习提升类别活动图质量，可消除语义漂移。例如，单阶段WSIS方法采用孪生网络和对比学习自我改善CAMs；像素级原型对比度方法通过跨视图特征一致性规则增强特征空间类内一致性。这些策略有助于生成更可靠的伪标签，提升最终分割精度。
多模态与3D监督的扩展应用
文章展示了弱监督实例分割向多模态和3D场景的扩展。MWSIS框架结合2D和3D注释进行跨模态监督，提高伪标签质量；基于LiDAR导引的框架利用点云和3D框，在nuScenes和Waymo上实验；CIP-WPIS使用2D基础模型SAM和3D几何先验，从边界框注释中获取点云实例标签，对嘈杂3D框具有鲁棒性。这些方法推动了自动驾驶等领域的实例分割应用。
性能表现与无需实例预训练
文章中的方法在多个数据集上取得领先性能。例如，单阶段WSIS在PASCAL VOC 2012验证集和测试集上分别达到67.2%和68.76% mIoU；WSSIS在COCO上以33.7% mIoU优于半监督方法的24.9%。部分方法无需实例或对象相关的预训练技术，降低了训练门槛。这些结果证明了弱监督实例分割在减少标注依赖的同时，仍能保持竞争力。
Q&A
弱监督实例分割主要想解决什么问题？
弱监督实例分割旨在降低标注成本，利用图像级类别标签、点标签、LiDAR点云与3D框等弱监督信息代替昂贵的2D掩码标注，同时提升伪标签质量并缓解语义漂移。
有哪些方法可以提升弱监督实例分割中伪标签的质量？
文章提到的方法包括：自训练方案改进伪标注、对比学习提升CAMs质量、多模态跨模态监督（结合2D和3D注释）、基于LiDAR导引的框架（含点标签分配PLA和图形一致性正则化GCR）、以及利用SAM和3D几何先验生成互补提示进行置信度分配。
弱监督实例分割在哪些数据集上取得了领先性能？
在PASCAL VOC 2012、MS COCO、nuScenes和Waymo等数据集上取得了领先性能。例如，某方法在PASCAL VOC 2012验证集和测试集上分别达到67.2%和68.76% mIoU；WSSIS在COCO上达到33.7% mIoU，优于半监督方法的24.9%。
弱监督实例分割中如何利用LiDAR和3D框来减少标注成本？
基于LiDAR导引的框架利用点云和3D框作为自然的弱监督信息代替2D掩码标注，通过点标签分配（PLA）和基于图形的一致性正则化（GCR）有效利用不同模态数据，从而大幅减少2D掩码的注释成本。
弱监督实例分割方法是否依赖实例预训练？
部分方法无需使用与实例或对象有关的预先训练技术。例如，有方法通过自训练方案改进伪标注，在PASCAL VOC 2012和MS COCO上实验证明有效，且不依赖实例预训练。
弱监督实例分割中如何缓解语义漂移问题？
文章提到通过自训练方案改进伪标注来消除语义漂移问题。此外，基于像素级原型对比度的方法通过跨视图特征语义一致性规则和促进特征空间的类内一致性（离散度）来提升特征质量，也有助于缓解语义漂移。
