学习连续 3D 词用于文本到图像生成
内容提要
论文提出Control3D，首次将手绘草图作为条件引入文本到3D生成，以提升用户可控性。方法采用改进的ControlNet引导NeRF场景学习，使各视角与文本和草图对齐，并利用预训练可微分照片到草图模型估计渲染图的草图，强制几何一致。实验表明，该方法能生成与文本提示和草图紧密对齐的忠实3D场景。
延伸解读
Control3D 的核心创新
Control3D 首次将手绘草图作为文本到3D生成的条件，以增强用户可控性。它通过改进的 ControlNet 引导 NeRF 场景学习，使每个视角与文本和草图对齐，并利用预训练的可微分照片到草图模型估计渲染图的草图，强制几何一致。这解决了现有文本到3D技术缺乏交互式控制的问题。
技术实现的关键步骤
方法采用两阶段策略：首先，使用改进的 2D 条件扩散模型（ControlNet）引导 NeRF 参数化的三维场景学习，确保每个视角与文本提示和手绘草图对齐；其次，利用预训练的可微分照片到草图模型估计渲染图像的草图，并强制这些估计草图与给定草图在几何上保持一致，从而实现更好的可控生成。
实验效果与优势
通过广泛实验证明，Control3D 能生成与输入文本提示和手绘草图紧密对齐的准确忠实的三维场景。与现有文本到3D方法相比，它增加了草图条件，提供了更细粒度的用户控制，使生成结果更符合用户预期，提升了可控性和忠实度。
Q&A
Control3D 是什么？它解决了文本到3D生成中的什么问题？
Control3D 是一种首次尝试在文本到3D生成中加入手绘草图作为条件的方法，旨在增强用户对合成3D内容的可控性，解决现有技术无法根据用户需求（如草图）进行交互式控制和塑造的问题。
Control3D 是如何实现草图控制的？
Control3D 通过改进的2D条件扩散模型（ControlNet）引导作为NeRF参数化的3D场景学习，使每个3D场景视角与给定的文本提示和手绘草图对齐；同时利用预训练的可微分照片到草图模型估计渲染图像的草图，并强制估计草图与给定草图在几何上保持一致。
Control3D 的实验结果如何？
实验表明，Control3D 能够生成与输入的文本提示和草图紧密对齐的准确忠实的三维场景。
Control3D 与现有的文本到3D生成方法相比有什么优势？
现有文本到3D技术缺乏根据用户需求规范（如草图）进行交互式控制和塑造的能力，而Control3D首次引入手绘草图作为条件，增强了用户的可控性，并能生成与文本和草图紧密对齐的3D场景。
Control3D 使用了哪些关键技术组件？
Control3D 使用了改进的2D条件扩散模型（ControlNet）来引导NeRF场景学习，并利用预训练的可微分照片到草图模型来估计渲染图像的草图，以强制几何一致性。
Control3D 在文本到3D生成领域有什么意义？
Control3D 首次将手绘草图作为条件引入文本到3D生成，提升了用户对生成过程的控制能力，为交互式3D内容创作提供了新途径。
