MetaSeg：内容感知元网络用于全监督语义分割
内容提要
该文综述弱监督与少样本语义分割及噪声标签处理研究：MetaSegNet利用元学习实现少样本多目标分割；借助显著性等低级线索生成代理标签并过滤噪声；通过跨模态伪标签提升开放词汇实例分割；采用软标签与元学习增强标签噪声鲁棒性；以图像级标签作注意力实现端到端弱监督分割；利用空间重加权平衡干净与噪声像素；以超像素指导生成噪声标签并用于OCT分割；MSLG端到端生成软标签；利用网络先记忆干净标签的特性纠正噪声标注；DenoiSeg以自监督实现少标注高质量分割。
延伸解读
元学习在少样本分割中的角色
MetaSegNet 通过全局和局部特征分支提取元知识，并将线性模型集成到元学习中，实现一次性多目标分割。这表明元学习能有效利用少量样本适应新任务，但文章未提供具体数据集或性能指标，读者需注意其泛化能力尚待验证。
弱监督分割的代理标签策略
文章提到利用显著性、边缘等低级线索生成代理标签，并通过在线噪声过滤辅助分割网络学习。在 PASCAL VOC 2012 上，WebSeg 达到 57.0% mIoU，弱监督设置达到 63.3%。这显示代理标签结合噪声过滤能提升弱监督分割效果，但依赖低级线索的质量。
噪声标签处理的共性方法
多个工作关注噪声标签问题：使用软标签和元学习增强鲁棒性；利用网络先记忆干净标签的特性纠正噪声标注；通过空间重加权平衡干净与噪声像素。这些方法共同表明，元学习和重加权策略能提升模型对噪声的抵抗力，但需要少量干净数据作为元数据。
跨模态与自监督的补充路径
跨模态伪标签框架通过视觉特征对齐实现开放词汇实例分割，在 MS-COCO 和 Open Images 上分别提升 4.5% 和 5.1% mAP。DenoiSeg 则利用自监督在少标注下实现高质量分割。这些方法拓展了分割任务的数据利用方式，但跨模态依赖图文对齐质量，自监督效果受限于数据分布。
Q&A
MetaSegNet 是如何实现少样本语义分割的？
MetaSegNet 是一个基于元学习的框架，通过全局和局部特征分支在元学习中提取适合少样本语义分割的元知识，并将线性模型集成到网络中，从而在一次学习后实现精确的多目标分割。实验表明，该方法在 K 路少样本语义分割任务中表现良好。
如何利用图像级标签进行弱监督语义分割？
一种方法是将图像级标签作为注意力机制来识别图像中的语义区域，生成类特定的掩模，并将该掩模生成策略纳入完全端到端可训练的过程，网络同时学习分类和分割。实验表明，利用生成的掩模可以超越仅使用图像标签的最新弱监督方法，甚至某些使用额外监督或训练数据的模型。
在分割任务中，网络如何处理噪声标注？
研究发现网络在学习初期会优先适应清晰的像素级标签，然后才记忆错误标注。基于此，一种方法通过单独检测每个类别的记忆化阶段来自适应地纠正噪声注释，并增加正则化项提高鲁棒性。该方法在医学图像分割中优于标准方法，并在 PASCAL VOC 2012 上实现了对噪声注释的鲁棒弱监督语义分割。
DenoiSeg 方法有什么特点？
DenoiSeg 是一种通过噪声优化嵌入式自我监督流程来训练物体分割模型的方法，它只需要很少的标注分割数据就能实现高质量分割，无需大量标注数据。
跨模态伪标签框架如何提升开放词汇实例分割？
该框架通过与对象掩膜的视觉特征对齐，实现对字词语义中的新类别进行标记，从而自我训练出一个学生模型，缓解伪掩膜中噪声干扰的不良影响。在 MS-COCO 和 Open Images & Conceptual Captions 数据集上，mAP 分别提高了 4.5% 和 5.1%。
如何利用少量干净注释和大量噪声注释训练分割网络？
一种框架使用空间可适应重新加权方法在损失函数中平衡干净和嘈杂的像素级注释，并利用元学习方法将更多重要性分配给损失梯度方向更接近干净数据的像素。实验表明，这种空间重新加权可以改善深度网络对噪声注释的鲁棒性。
