NeuSDFusion：一种面向空间感知的生成模型用于 3D 形状补全、重构和生成
内容提要
该论文提出了一种新的3D资产生成框架，支持通过不完整形状、图像和文字描述生成3D形状。同时，研究介绍了基于扩散模型的3D形状补全方法和新的形状表示方法Mosaic-SDF，展示了其在3D生成和跟踪中的有效性。
延伸解读
多模态输入与权重调节的实用性
该框架允许用户同时使用不完整的形状、图像和文字描述来生成3D形状，并能为每种输入调整相对权重。这种设计降低了业余用户的使用门槛，因为用户无需提供完整的单一模态输入，而是可以混合多种信息源，并通过权重控制生成结果的偏向。这提高了生成过程的灵活性和互动性，使3D资产生成更贴近实际创作场景。
Mosaic-SDF表示法的优势
Mosaic-SDF（M-SDF）通过一组分布在形状边界附近的局部网格来近似有符号距离函数（SDF）。这种表示方法具有高效计算和参数效率的优点，并且与基于Transformer的架构兼容。在3D生成流模型的训练中，M-SDF展示了其有效性，为3D形状表示提供了一种新的思路，可能推动生成模型在效率和扩展性方面的进步。
扩散模型在形状补全中的进展
文章介绍了基于3D潜在扩散模型的形状补全方法，通过交叉注意力和空间特征整合实现以图像和3D特征为基础的条件，从而以高分辨率、真实感的方式完成形状补全。此外，面向大规模3D场景的概率形状完成方法利用生成细胞自动机学习多模态分布，实验证明其几何完成表现优于确定性模型。这些进展表明扩散模型在3D形状补全任务中具有潜力。
Q&A
NeuSDFusion框架的主要功能是什么？
NeuSDFusion框架支持通过不完整形状、图像和文字描述生成3D形状。
Mosaic-SDF方法有什么优势？
Mosaic-SDF方法具有高效计算、参数效率和与基于Transformer的架构兼容等优点。
如何通过文本描述生成3D形状？
框架使用SDF自编码器和体素化扩散模型，根据指定的文本描述生成高质量的3D形状。
该研究如何提高3D形状补全的质量？
研究通过交叉注意力和空间特征整合，实现以图像和3D特征为基础的高分辨率形状补全。
GEM3D模型的主要特点是什么？
GEM3D模型通过神经骨架编码形状拓扑和几何信息，生成准确的表面和多样化形状。
该框架如何处理大规模3D场景的形状完成？
框架利用生成细胞自动机学习多模态分布，通过稀疏体素嵌入生成连续形状，表现优于确定性模型。
