MeshUp：通过混合评分蒸馏实现多目标网格变形
内容提要
本文介绍了多种三维生成技术，包括基于分数蒸馏的NeRF模型、DragD3D局部网格编辑方法和PolyDiff三维多边形网格生成方法。这些技术通过结合草图风格引导、二维扩散先验和合理性保持，显著提升了三维对象生成的质量和控制能力，解决了几何不一致性问题。
延伸解读
技术演进脉络
文章按时间顺序梳理了三维生成与编辑技术的进展：从2022年基于分数蒸馏的NeRF模型，到2023年的DragD3D局部网格编辑、APAP变形技术，再到2024年的PolyDiff、Entropic Score Distillation和GSD框架。这一脉络显示，研究重点从提升生成控制能力，逐步转向解决几何一致性、细节保留和拓扑生成等核心挑战。
网格编辑的合理性保持
DragD3D和APAP都致力于在用户编辑网格时保持结果的合理性。DragD3D通过操作少量顶点并结合几何ARAP正则化器和二维扩散先验，实现全局上下文感知的变形；APAP则利用面对面的雅可比矩阵表示变形，并通过可微分泊松求解计算顶点坐标，在分数蒸馏抽样中提取合理性先验。两者都强调比仅使用几何正则化器获得更好的结果。
扩散先验的优化与统一
文章提到多个工作致力于优化三维生成中的扩散先验。例如，统一框架通过优化三维模型和扩散先验，在性能和实施复杂性之间提供多种配置；Entropic Score Distillation在3D分数蒸馏目标函数中引入熵项并采用无分类器指导，以解决Janus人工生成物问题；GSD框架则将三维一致性和几何意识融入SDS过程，显著提高文本到三维生成的性能。
PolyDiff的突破与影响
PolyDiff是首个能够直接生成逼真且多样化的三维多边形网格的扩散式方法。它通过在多边形网格数据结构上本地化进行离散去噪扩散概率建模，学习顶点的几何特性和面的拓扑特性，从而生成高质量的三维多边形网格，适用于后续的三维工作流集成。这一方法解决了分数蒸馏中的Janus人工生成物问题，为三维生成提供了新的途径。
Q&A
什么是分数蒸馏技术在三维生成中的应用？
分数蒸馏技术用于在NeRF模型中利用潜空间生成三维对象，增强了生成过程的控制能力。
DragD3D局部网格编辑方法的主要特点是什么？
DragD3D通过少量顶点操作和几何ARAP正则化器，实现全局上下文感知的逼真变形。
PolyDiff方法如何解决三维多边形网格生成中的问题？
PolyDiff是首个能够直接生成逼真且多样化的三维多边形网格的扩散式方法，解决了分数蒸馏中的Janus人工生成物问题。
APAP网格变形技术的工作原理是什么？
APAP利用二维扩散先验保持合理性，通过可微分的泊松求解计算网格顶点坐标，平衡用户编辑和输出合理性。
GSD框架在三维生成任务中的作用是什么？
GSD框架显著提高了文本到三维生成任务中的性能，解决了几何不一致性问题，并与现有模型兼容。
如何通过修改DDIM改善三维生成质量？
通过修改DDIM，我们的方法消除了过度平滑，保留了高频细节，使生成质量接近于2D采样器。
