跨领域少样本分割通过迭代支持查询对应挖掘
内容提要
本文综述少样本分割与跨域少样本学习进展,涵盖基于适配器的PAM框架、跨域自适应细化DARNet与测试时自适应、联合训练框架及可转移子簇、点云原型适应、stabPA紧凑原型对齐、元学习双自适应对齐、AMFormer对抗挖掘、解释引导训练、密集亲和匹配DAM及遥感DMNet双挖掘网络,并在PASCAL-5i、COCO-20i、DomainNet等数据集上提升性能。
延伸解读
跨域少样本分割的两条技术路线
文章呈现了跨域少样本分割的两种主要思路:一是以DARNet为代表的动态自适应细化,结合通道统计扰动、自匹配和测试时自适应来应对域偏移;二是以stabPA为代表的紧凑原型对齐,同时处理域漂移和少样本问题。前者侧重推理阶段的调整,后者侧重表示学习阶段的对齐,读者可据此判断不同方法在部署灵活性与训练成本上的取舍。
支持-查询交互的挖掘方式差异
多个方法围绕支持集与查询集之间的对应关系展开:DAM用双向3D卷积密集捕捉像素对像素和像素对补丁关系;AMFormer则通过对抗挖掘变压器,在支持指导粗略或标签较弱时仍生成接近真值的掩码。两者都强调充分利用支持-查询交互,但前者偏重密集匹配,后者偏重对抗优化,适合不同标注质量场景。
联合训练与特征增强的实用考量
文章提到一种联合训练框架,用于缓解处理潜在新类别时的特征削弱问题,并通过可转移子簇增强特征嵌入,在PASCAL-5i和COCO-20i上超过此前最先进方法,同时参数更少、推理更快。这说明跨域少样本分割的改进不只在精度,效率与参数规模也是实际部署时需要关注的维度。
遥感与点云等场景的专门化设计
DMNet针对卫星遥感场景的极端类内变化,通过类公共区域挖掘和类特定区域挖掘提取语义,并用已知类元抑制器抑制已知类激活;点云少样本分割则通过适应支持原型与查询特征间的语义差距取得改进。这些工作表明,跨域少样本分割的方法需要结合具体数据模态和场景特点进行调整,通用框架未必直接适用。
Q&A
跨域少样本分割中,DARNet 是如何提升性能的?
DARNet 采用动态自适应细化方法,包括通道统计扰动和自适应细化自匹配技术,并结合测试时自适应(TTA),在跨域少样本分割任务中显著超越了现有方法。
stabPA 方法主要解决跨域少样本分割中的什么问题?
stabPA 通过学习紧凑的原型和跨域对齐表示,同时解决域漂移和少样本学习问题,并在 DomainNet 数据集上取得了优异结果。
AMFormer 在少样本分割中有什么特点?
AMFormer 是一种对抗挖掘变压器,利用支持信息和查询中心,即使只有粗略的支持指导或弱支持标签,也能提供准确的查询图像分割,通过优化产生更接近地面真实的精确掩码。
解释引导训练策略如何改善跨域少样本分类?
该策略通过已有的解释方法解释模型预测,并动态找到并强调对预测重要的特征,从而改善跨域少样本分类任务中模型的泛化能力,在五种少样本学习数据集上提高了三种不同FSC模型的准确性。
DMNet 如何处理卫星遥感场景中的极端类内变化?
DMNet 通过 Class-public Region Mining 和 Class-specific Region Mining 模块有效挖掘和提取语义,并引入 Known-class Meta Suppressor 模块抑制已知类中的对象激活,实现少样本下对未知类目标的差异化分割。
联合训练框架如何缓解少样本分割中的特征削弱问题?
该框架使用可转移子簇来增强特征嵌入,缓解现有方法在处理潜在新类别时出现的特征削弱问题,在 PASCAL-5i 和 COCO-20i 数据集上超过之前的最先进方法,且参数更少、推理更快。