基础模型还是微调？河流污染的少样本语义分割评估
内容提要
本文介绍了一种结合粗略标注数据和精细监督的方法，以提升语义分割效果。实验结果表明，该方法在多个数据集上表现优异，尤其在少样本分割任务中显著提升性能。此外，研究提出了新的微调任务和快速神经架构搜索框架FMAS，优化了训练时间和模型性能。
延伸解读
少样本分割的性能提升与挑战
文章提到，基于InfoMax原理和互信息的模型在PASCAL-5^i和COCO-20^i数据集上，1-shot和5-shot情况下性能提升显著，分别达到7%到26%和3%到12%。这表明少样本分割任务在利用基础类别训练后，对新类别的分割能力有较大提升。但文章也指出存在更具挑战性的设置，暗示当前方法仍有局限，读者需关注其泛化边界。
视觉基础模型在语义分割中的比较
文章比较了DINO V2、Segment Anything、CLIP、Masked AutoEncoders和ResNet50等视觉基础模型，发现DINO V2在多种数据集和适应方法上始终优于其他模型。同时，各种适配器方法表现相似，说明选择稳健的特征提取器比适应技术本身的复杂性更为重要。这一发现强调了在少样本语义分割中特征提取的关键作用。
FMAS框架的效率优势
FMAS是一个快速多目标神经架构搜索框架，用于语义分割。它通过在搜索期间对DeepLabV3+结构和预训练参数进行子采样且无需微调，显著减少训练时间。在PASCAL VOC 2012数据集上，仅用0.5 GPU天就能找到FLOPs和参数分别减少10%和20%的模型，而误差增加不到3%。在GAP8边缘设备上，还能发现比现有架构快2.2倍的神经网络，MIoU损失仅为7.61%。
微调策略与泛化能力
文章介绍了Rein微调方法，通过利用更强的预训练模型和更少的可训练参数提高泛化能力。在Cityscapes数据集上，Rein仅使用额外1%的可训练参数就达到了68.1%的mIoU，明显优于现有方法。此外，主动微调任务通过优化注释样本选择，提高了计算机视觉任务的性能和效率。这些策略表明，在预训练-微调范式下，样本选择和参数效率对模型泛化至关重要。
Q&A
如何提升少样本语义分割的效果？
可以通过结合粗略标注数据和精细监督的方法来提升少样本语义分割的效果。
FMAS框架的主要优势是什么？
FMAS框架显著减少了训练时间，并能快速找到具有竞争力的模型设计。
DINO V2在语义分割任务中的表现如何？
DINO V2在各种数据集和适应方法上始终优于其他模型，表现出优越的适应能力。
如何优化注释样本选择以提高模型性能？
通过新的主动微调任务来优化注释样本选择，从而提高计算机视觉任务的性能和效率。
在PASCAL VOC 2012数据集上，FMAS的表现如何？
FMAS能够快速找到计算成本更低且性能优越的模型，显著提升了效率。
研究中提出的基于少样本语义分割的方法有什么特点？
该方法利用基础类别训练的模型进行新类别的分割，并引入类别共享记忆模块和不确定性特征增强模块。
