Sketch2NeRF: 多视图草图引导的文本生成三维模型
内容提要
本文综述文本到3D生成技术，涵盖Text2NeRF、Control3D、Text2Control3D等方法，利用扩散模型和NeRF实现高保真、多视角一致的3D场景生成，并支持草图控制、编辑与稀疏视图重建。
延伸解读
从文本到3D：技术演进与关键突破
文章梳理了文本到3D生成的发展脉络，从Text2NeRF利用扩散模型和深度估计约束NeRF，到Control3D引入草图控制，再到Text2Control3D实现可控头像生成。这些方法逐步解决了内容一致性、几何一致性和用户交互控制等核心问题，体现了该领域从纯文本生成向多模态控制的演进趋势。
草图控制：提升3D生成的可控性
Control3D首次尝试将手绘草图作为条件引入文本到3D生成，通过改进的ControlNet引导NeRF学习，使每个视角与文本和草图对齐。同时利用可微分照片到草图模型估计渲染图像的草图，并强制与输入草图几何一致。这种方法增强了用户对生成过程的控制，为3D内容创作提供了更直观的交互方式。
编辑与重建：3D场景的灵活操作
文章介绍了多种3D编辑与重建技术，如Edit-DiffNeRF通过微调扩散模型潜在空间实现场景编辑，SIGNeRF利用深度条件机制快速编辑和整合对象，SSDNeRF则从多视图图像学习可推广先验，支持稀疏视图重建。这些方法提升了3D场景的编辑效率和重建质量，为实际应用提供了更多可能性。
Q&A
Text2NeRF 是如何实现文本到3D场景生成的？
Text2NeRF 利用预训练的文本到图像扩散模型和单目深度估计方法约束 NeRF 模型，以保持内容和几何一致，同时使用逐步场景修复和更新策略保证场景视角一致性。
Control3D 如何实现基于草图的文本到3D生成？
Control3D 通过改进的2D条件扩散模型（ControlNet）引导作为NeRF参数化的3D场景学习，使每个3D场景视角与给定的文本提示和手绘草图对齐，并利用预训练的可微分照片到草图模型估计渲染图像的草图，强制与给定草图几何一致。
Text2Control3D 在生成3D头像时有哪些创新？
Text2Control3D 利用 ControlNet 生成视角感知图像，通过交叉注意力注入可控的面部表情和外貌，通过高斯潜变量的低通滤波解决视角不可知纹理问题，以及通过学习图片形变表构建3D头像。
Edit-DiffNeRF 如何实现3D场景编辑？
Edit-DiffNeRF 通过对已经训练好的扩散模型的潜在语义空间进行微调以合并编辑指令，同时通过多视图语义一致性损失确保在不同视图中重建潜在的语义嵌入。
SIGNeRF 是什么？它有什么特点？
SIGNeRF 是一种快速和可控的 NeRF 场景编辑和场景整合对象生成的新方法，通过图像扩散模型的深度条件机制，在一次迭代中基于参考图像集合对原始 NeRF 进行更新和改进，从而实现三维一致性视图生成。
SSDNeRF 在3D重建和生成方面有什么优势？
SSDNeRF 使用表达能力强的 Diffusion Model 从多视图图像中学习神经辐射场（NeRF）的可推广先验，实现3D重建和先验学习的同时，在无条件生成和单/稀疏视图3D重建等任务上具有与任务特定方法媲美或优于其的鲁棒性结果。
