MeshSegmenter:零样本网格语义分割与纹理合成
原文中文,约500字,阅读约需1分钟。发表于: 。MeshSegmenter 是一个简单但有效的框架,用于零样本 3D 语义分割,通过将 2D 分割模型的强大能力成功扩展到 3D 网格,实现了准确的 3D 分割;它利用 Segment Anything Model 模型从渲染的 3D 形状图像中分割目标区域,并借助预训练的稳定扩散模型从 3D 形状中生成带纹理的图像,以辅助分割;为了实现 3D 分割,它从不同视角渲染 2D...
MeshSegmenter是一个用于零样本3D语义分割的框架,通过将2D分割模型的能力扩展到3D网格,实现准确的3D分割。它利用Segment Anything Model模型从渲染的3D形状图像中分割目标区域,并借助预训练的稳定扩散模型从3D形状中生成带纹理的图像,以辅助分割。通过从不同视角渲染2D图像并对带纹理和无纹理的图像进行分割,最后采用多视角投票方案将2D分割结果和置信度得分整合到3D网格中,确保分割结果的3D一致性并消除特定视角的不准确性。MeshSegmenter在3D零样本分割领域具有潜力。