不再重新训练，更多收益：用扩散模型升级骨干网络进行少样本分割
内容提要
DifFSS是一种新颖的少样本语义分割框架，通过扩散模型生成多样的辅助支持图像，显著提升分割性能。研究中提出了原型自适应模块和联合训练框架等改进方法，解决了特征削弱问题，并在多个数据集上取得了优越的实验结果。该方法在医学图像和视频语义分割中表现出色，展示了在有限标注数据下的高效性和有效性。
延伸解读
扩散模型如何提升少样本分割
DifFSS利用扩散模型生成多样化的辅助支持图像，无需修改分割模型结构即可提升性能。这种方法通过语义掩码、涂鸦或软边界生成图像，为模型提供更丰富的训练信号，从而在少样本场景下实现一致改进。这避免了重新训练骨干网络的需求，降低了计算成本。
关键模块与训练策略
研究提出了原型自适应模块（PAM）和联合训练框架，以解决特征削弱问题。PAM通过适配器机制增强原型表示，而联合训练框架结合可转移子簇来缓解新类别带来的特征退化。这些改进在PASCAL-5i和COCO-20i数据集上超越了先前最先进方法，且参数更少、推理更快。
跨领域与医学图像应用
在医学图像中，DSPNet通过构建高保真原型处理复杂背景，在三个基准上优于先前方法。对于跨领域少样本分割，测试时任务自适应方法避免了过拟合，取得了新的最先进性能。此外，自监督FSS框架无需标注，特别适用于标注有限的医学图像，展示了高效性和有效性。
Q&A
DifFSS框架的主要创新点是什么？
DifFSS框架通过扩散模型生成多样的辅助支持图像，显著提升了少样本语义分割的性能。
原型自适应模块（PAM）在DifFSS中起什么作用？
PAM用于提高FSS模型的性能，解决特征削弱问题。
DifFSS在医学图像分割中的表现如何？
DifFSS在医学图像分割中表现出色，尤其是在复杂背景下的分割任务。
该框架如何避免过拟合？
通过引入伴随的基础学习者，结合meta learner的预测结果，提升模型的泛化性能。
DifFSS在数据集上的实验结果如何？
在PASCAL-5i和COCO-20i数据集上，DifFSS超过了之前的最先进方法，具有更少的参数和更快的推理速度。
自监督式FSS框架的优势是什么？
自监督式FSS框架不依赖于标注，适用于有限标注数据的医学图像，展示了高效性和有效性。
