拓扑感知的潜在扩散用于 3D 形状生成
内容提要
该文综述扩散模型在三维生成中的应用，涵盖点-体素表示的形状生成与补全、网格表面纹理合成、结构组件设计生成、形状与外观分离生成、三维多边形网格直接生成、分子三维几何生成、草图输入建模、潜在拓扑保留以及神经场高效生成等方向。
延伸解读
扩散模型在三维生成中的多样化应用
文章综述了扩散模型在三维生成中的多个方向，包括点-体素表示的形状生成与补全、网格表面纹理合成、结构组件设计生成、形状与外观分离生成、三维多边形网格直接生成、分子三维几何生成、草图输入建模、潜在拓扑保留以及神经场高效生成等。这些方向展示了扩散模型处理不同三维表示和任务的能力，从无条件生成到条件生成，从几何到纹理，从分子到宏观形状。
形状与外观分离生成的意义
文章提到一项工作首次实现了三维扩散模型中形状与外观的分离生成，通过混合点云和神经辐射场表示，点位置表示粗略形状，点特征建模几何和外观细节。这种分离允许独立采样和控制形状与外观，在生成质量上降低了30-90%的FID分数，并与非分离方法持平。这为可控三维内容创作提供了新可能。
拓扑保留与高效生成的技术进展
文章涉及利用持久性同调在自编码器潜在表示中保留输入空间拓扑结构的方法，以保存多尺度连接信息，在合成流形和真实图像数据集上表现良好。另一项工作通过将训练数据转换为连续占据场并分解为轴对齐三面体特征，利用二维扩散模型训练，实现了高效高质量的神经场三维生成。这些技术旨在提升生成效率或保持结构特性。
Q&A
Point-Voxel Diffusion (PVD) 是什么？它有什么特点？
PVD 是一种概率生成建模方法，将去噪扩散模型与 3D 形状的混合点-体素表示相结合，通过优化变分下界训练条件似然函数，用于无条件形状生成和多模态形状补全，具有高保真合成能力，并能从单视角深度扫描生成多个补全结果。
如何实现3D形状和外观的分离生成？
通过引入混合的点云和神经辐射场表示，点位置表示粗略形状，点特征建模几何和外观细节，从而独立采样和控制形状与外观。该方法在生成质量上达到新水平，FID分数降低30-90%。
PolyDiff 是什么？它有什么创新？
PolyDiff 是第一个直接生成逼真且多样化三维多边形网格的扩散式方法。它在多边形网格数据结构上本地化进行离散去噪扩散概率建模，学习顶点的几何特性和面的拓扑特性，生成高质量网格，适用于后续三维工作流。
GeoLDM 如何生成分子的三维几何结构？
GeoLDM 是一种基于几何潜变扩散模型的方法，通过在潜空间中运行扩散模型来生成分子的三维几何结构，对生成大分子的有效百分比有7%的提升。
如何通过2D草图输入生成3D形状？
提出了一种基于扩散的3D形状生成框架，名为局部注意力SDF扩散，可通过2D草图图像输入建模可信的3D形状，实现局部控制性和模型普适性的提高。
如何利用扩散模型高效生成神经场？
通过将训练数据转换为连续占据场并分解为一组轴对齐的三面体特征表示，然后使用现有的二维扩散模型对这些特征表示进行训练，生成高质量和多样性的三维神经场，且优于其他三维生成方法。
