量子位
·
Meta「分割一切」进入3D时代！图像分割结果直出3D，有遮挡也能复原
💡
原文中文，约3600字，阅读约需9分钟。
📝
内容提要
Meta推出SAM 3D模型，能够从2D图像直接生成3D模型，支持物体和人体重建，并克服遮挡问题。通过可提示概念分割，SAM 3提升了语义理解能力，显著提高了准确率，推动了3D建模技术的发展。
🎯
关键要点
- Meta推出SAM 3D模型，能够从2D图像直接生成3D模型。
- SAM 3D支持物体和人体重建，并克服遮挡问题。
- SAM 3D家族包含SAM 3D Objects和SAM 3D Body两个新模型。
- SAM 3D Objects能够从单张自然图像中实现3D重建，性能显著优于现有方法。
- SAM 3D Body在复杂情况下也能对人物进行建模，取得了SOTA成绩。
- SAM 3引入可提示概念分割功能，克服了传统模型的局限。
- SAM 3能够处理更细微的概念，支持文本指令和图中选物体的分割。
- SAM 3在可提示分割任务中刷新了SOTA，准确率显著提升。
- SAM 3的核心架构基于共享的Perception Encoder视觉骨干网络。
- SAM 3D Objects通过两阶段生成模型实现几何与纹理的逐步构建。
- SAM 3D Body采用Momentum Human Rig表示法，解决了传统模型的失真问题。
- SAM 3D Body设计了双路解码器结构，兼顾全身与手部细节。
❓
延伸问答
Meta的SAM 3D模型有什么主要功能？
SAM 3D模型能够从2D图像直接生成3D模型，支持物体和人体重建，并克服遮挡问题。
SAM 3D Objects和SAM 3D Body有什么区别？
SAM 3D Objects专注于物体和场景重建，而SAM 3D Body则专注于人体建模。
SAM 3如何提高语义理解能力？
SAM 3通过引入可提示概念分割功能，克服了传统模型的局限，能够处理更细微的概念。
SAM 3D模型在复杂情况下的表现如何？
SAM 3D Body在复杂情况下仍能对人物进行建模，取得了SOTA成绩。
SAM 3D Objects是如何实现3D重建的？
SAM 3D Objects通过两阶段生成模型实现几何与纹理的逐步构建。
Meta如何评估SAM 3的性能？
Meta创建了“基于概念的任意分割”（SA-Co）基准测试，用于评估可提示概念分割的性能。
➡️
