BLADE：通过定向扩展进行盒级有监督非凡感分割
内容提要
本文综述非模态（遮挡）实例分割与全景分割研究，涵盖多项工作：提出无需提议的多标签无缝分割网络，在BDD100K-APS和KITTI-360-APS上超越现有水平；利用标准注释训练非模态分割；借助形状先验处理遮挡；构建3D自动管道生成真值；提出语义全场景标注及新数据集；用贝叶斯模型解决分割越界；提出端到端语义非模态分割模型；以弱监督和边界不确定性实现遮挡实例分割；定义非模态全景分割任务并提出APSNet；用扩散修复模型改进遮挡物体补全。
延伸解读
从模态到非模态：分割任务的范围扩展
文章梳理的多项工作显示，非模态分割正从实例级向全景级延伸。早期研究聚焦于利用形状先验或标准注释训练模型预测被遮挡部分，而APSNet进一步将任务定义为同时处理stuff类可见区域语义分割与thing类可见及遮挡区域实例分割，并扩展了KITTI-360-APS和BDD100K-APS基准。这反映出研究目标从补全单个物体掩膜，转向在统一框架下理解整个场景的可见与不可见部分。
降低标注依赖的多种技术路径
非模态真值标注成本高昂，文章中的工作尝试了不同替代方案。有研究利用标准模态实例分割注释训练非模态模型，避免额外标注；也有工作通过3D数据构建自动管道生成部分遮挡物体的非模态真值，并发布MP3D-Amodal数据集；还有方法采用弱监督与边界不确定性估计。这些路径共同指向一个现实问题：如何在有限标注条件下获得可靠的遮挡区域监督信号。
遮挡补全与分割的互补思路
文章既收录了分割模型，也涉及基于扩散修复的遮挡物体补全方法。后者利用物体边界框外的上下文引导预训练扩散模型逐步扩展遮挡物体并修剪多余背景，以改进照片级修复效果。这与APSNet显式建模遮挡物与被遮挡物关系、ASBU基于边界不确定性估计等思路形成互补：分割侧重预测掩膜范围，修复侧重生成合理外观，二者共同服务于对遮挡区域的理解与重建。
Q&A
BLADE 提出的无需提议的多标签无缝分割网络有什么特点？
BLADE 是一种无需预测提议、将 amodal mask 分配到不同层级、通过在每一层独立地进行 amodal 实例回归来预测交通参与者及其语义标签的 proposal-free 多标签多类别无缝分割网络。它采用共享骨干和不对称双解码器的架构以及 amodal mask refiner，在 BDD100K-APS 和 KITTI-360-APS 数据集上超越了现有技术水平。
如何利用标准模态实例分割注释来训练非模态实例分割模型？
文章提出并验证了一种基于标准模态实例分割注释来训练模型进行非模态实例分割的新方法，并通过定性和定量实验证明了该方法的有效性。
非模态全景分割任务是什么？有哪些相关数据集和模型？
非模态全景分割任务旨在同时预测 stuff 类可见区域的像素级别语义分割标签和 thing 类可见区域以及遮挡区域的实例分割标签。文章扩展了两个基准数据集（KITTI-360-APS 和 BDD100K-APS）并提供像素级别的 amodal panoptic 分割标签，还提出了 APSNet 模型，它显式地建模了遮挡物和被遮挡物的复杂关系，在两个基准测试上达到了最先进的性能。
ASBU 方法如何实现弱监督的遮挡实例分割？
ASBU 是一种基于边界不确定性估计的无模态实例分割方法，使用弱监督的方式实现遮挡性实例分割任务，并在 COCOA 和 KINS 数据集上取得了显著的性能提升。
如何利用扩散修复模型改进遮挡物体的补全？
该方法通过在物体边界框外使用其上下文来指导预训练的扩散修复模型，逐步扩展遮挡物体并修剪额外背景，从而克服技术挑战，在众多成功的修复情况中展现了改进的照片级修复结果。
贝叶斯模型如何解决神经网络中的物体分割模糊出界问题？
文章探讨了利用贝叶斯模型解决神经网络中的物体分割模糊出界问题，通过利用对象的背景和形状作为先验知识来实现模型对训练任务标签的超出范围的推理，并通过应用异常值处理技术来推广到部分被遮挡的对象并预测其模态对象边界。
