量子位
·
Meta「分割一切」3.0曝光！技能语义分割加入概念提示，好好玩，要爆了
💡
原文中文，约2100字，阅读约需5分钟。
📝
内容提要
Meta推出的SAM 3模型实现了通过语言提示在图像中识别和分割多个实例。该模型支持多模态提示，具备快速处理和高准确率，但对复杂语言的理解能力有限。
🎯
关键要点
- Meta推出的SAM 3模型实现了通过语言提示在图像中识别和分割多个实例。
- SAM 3支持多模态提示，能够处理短语和图像示例的概念提示。
- SAM 3在处理复杂图像时表现出色，处理一张含100多个物体的图片仅需30ms。
- SAM 3的研究团队提出了PCS（Promptable Concept Segmentation）新任务范式，强调开放性词汇和全实例分割。
- SAM 3采用新的架构设计，解耦物体识别和定位任务，提高检测精度。
- 研究团队构建了一个覆盖400万独特概念标签的数据引擎，以提升模型性能。
- 论文提出SA-Co基准评估模型在开放词汇分割任务中的性能，覆盖范围大幅提升。
- 实验结果显示，SAM 3在可提示分割任务中刷新了SOTA，准确率显著提高。
- SAM 3与多模态大模型结合，能够处理更复杂的分割任务，效果优于专门推理分割的模型。
- SAM 3在特定领域如医疗图像的泛化能力有限，且在多目标视频分割任务中性能下降。
❓
延伸问答
SAM 3模型的主要功能是什么？
SAM 3模型能够通过语言提示在图像中识别和分割多个实例。
SAM 3如何处理复杂图像？
SAM 3处理一张含100多个物体的图片仅需30ms，具备近实时处理能力。
什么是PCS任务范式？
PCS（Promptable Concept Segmentation）是指模型能够基于短语和图像示例分割匹配提示概念的实例。
SAM 3在分割任务中的准确率如何？
在LVIS数据集的零样本分割任务中，SAM 3的准确率达到了47.0，显著高于之前的38.5。
SAM 3的架构设计有什么创新？
SAM 3采用新的架构设计，解耦物体识别和定位任务，从而提高检测精度。
SAM 3在特定领域的表现如何？
SAM 3在医疗图像等特定领域的泛化能力有限，且在多目标视频分割任务中性能下降。
➡️
