尽可能真实:使用 2D 扩散优先的可信度感知网格变形

原文约400字,阅读约需1分钟。发表于:

我们提出了一种尽可能合理的网格变形技术(APAP),利用二维扩散先验保持网格在用户控制的变形下的合理性。我们的框架使用面对面的雅可比矩阵表示网格变形,通过可微分的泊松求解计算网格顶点坐标。变形的网格被渲染,并使用预训练的二维扩散模型在分数蒸馏抽样(SDS)过程中提取有意义的合理性先验。为了更好地保留编辑后网格的身份,我们使用 LoRA 对二维扩散模型进行微调。然后将 SDS 和用户提供的处理移位提取的梯度反向传播到面对面的雅可比矩阵中,使用迭代梯度下降计算最终的变形,以平衡用户编辑和输出合理性。我们使用二维和三维网格对我们的方法进行评估,并展示使用合理性先验相比之前技术使用几何保持或失真最小化先验时的定性和定量改进。

我们提出了一种合理的网格变形技术(APAP),使用二维扩散先验保持用户控制的变形的合理性。通过可微分的泊松求解计算网格顶点坐标,并使用预训练的二维扩散模型提取合理性先验。使用 LoRA 对模型进行微调,并使用梯度反向传播计算最终的变形。评估结果显示,与之前的技术相比,我们的方法在保持几何和减小失真方面有定性和定量的改进。

相关推荐 去reddit讨论