SINE：上下文示例驱动，打造真正的通用分割模型 | NeurIPS'24 - 晓飞的算法工程笔记

提出了一种名为SINE的图像分割框架，通过上下文示例解决任务模糊性。

SINE基于Transformer结构，利用上下文交互模块和匹配Transformer生成多个任务特定的输出掩码。

SINE适用于多种分割任务，包括少样本分割和视频目标分割。

现有的上下文分割模型面临任务模糊性的问题，无法清晰定义不同任务之间的边界。

SINE能够在可训练参数更少的情况下有效解决上下文分割中的任务模糊性问题。

SINE使用查询的分割模型，结合上下文交互模块和匹配Transformer解码器。

上下文交互模块用于补充上下文信息，并在参考图像特征和目标图像特征之间产生关联。

掩码池化为每个掩码分配不同的ID标签，并通过合并相同类别标签的掩码得到语义掩码。

上下文融合模块通过自注意力机制和交叉注意力机制实现参考特征和目标特征之间的上下文关联。

匹配Transformer通过双路径设计增强语义原型以实现更准确的匹配。

SINE的训练过程通过匈牙利损失解决匹配问题，能够赋予模型预测同一对象的能力。

实验结果表明，SINE在多种分割任务中表现优异，能够有效处理上下文示例中的模糊性。