FlashTex：快速可再照明网格纹理与 LightControlNet
内容提要
本文提出Control3D，首次将手绘草图作为条件引入文本到三维生成，通过改进的ControlNet引导NeRF场景学习，并利用可微照片到草图模型约束几何一致性，实现可控三维内容创作。
延伸解读
Control3D 的核心创新：草图条件控制
Control3D 首次将手绘草图作为条件引入文本到三维生成，通过改进的 ControlNet 引导 NeRF 场景学习，使每个视角与文本和草图对齐。同时利用可微分照片到草图模型约束几何一致性，提升了可控性。
与同期工作的对比：光照与几何控制
文章提及了 FlashTex 的灯光控制、DreamControl 解决 Janus 问题、Mesh2Tex 的纹理生成等同期工作。Control3D 的独特之处在于以手绘草图作为交互条件，强调用户对三维内容的直接塑造，而非仅依赖文本或光照提示。
技术实现的关键：可微分照片到草图模型
Control3D 利用预训练的可微分照片到草图模型，直接估计合成三维场景渲染图像的草图，并强制其与给定草图几何一致。这一机制确保了生成的三维场景在不同视角下与输入草图保持对齐，增强了可控性。
Q&A
Control3D 是什么？它解决了文本到三维生成中的什么问题？
Control3D 是首次尝试在文本到三维生成中加入手绘草图作为条件的方法，旨在增强用户对合成三维内容的交互式控制和塑造能力，解决现有技术缺乏根据用户需求规范（如草图）进行控制的问题。
Control3D 是如何实现可控文本到三维生成的？
Control3D 通过改进的 2D 条件扩散模型（ControlNet）引导作为 NeRF 参数化的三维场景学习，使每个三维场景视角与给定的文本提示和手绘草图对齐；同时利用预训练的可微分照片到草图模型估计合成三维场景渲染图像的草图，并强制估计草图与给定草图在几何上保持一致。
Control3D 的实验效果如何？
通过广泛的实验证明，Control3D 可以生成与输入的文本提示和草图紧密对齐的准确忠实的三维场景。
DreamControl 在 3D 生成中解决了什么问题？
DreamControl 通过两阶段 2D-lifting 框架，解决了 3D 生成中的几何不一致性 Janus 问题，并生成出几何一致性和纹理保真度都很高的高质量 3D 内容。
Mesh2Tex 的主要功能是什么？
Mesh2Tex 使用混合网格神经场纹理表示法，从未相关的三维物体几何和照片逼真的 RGB 图像的集合中学习真实的物体纹理流形，以生成适用于下游应用和 3D 渲染的纹理对象，并能在具有挑战性的真实世界场景下有效生成逼真的物体纹理。
Text2Mesh 算法有什么特点？
Text2Mesh 通过基于神经网络的颜色预测和本地几何细节预测实现对三维网格的样式编辑，使用 disentangled 表示法处理三维物体，无需预先训练的生成模型或特殊三维网格数据集，可以合成各种样式的三维网格。
ControlNet-XS 相比现有控制网络有哪些优势？
ControlNet-XS 不受信息流动延迟问题困扰，可以专注于学习控制任务；与现有控制网络相比，模型参数量少，推理和训练时间大约快两倍，生成的图像质量更高，控制精度更高。
