InseRF: 文本驱动的神经三维场景中物体插入生成
内容提要
该文综述2023至2024年基于NeRF与扩散模型的3D生成与编辑方法：Text2NeRF以文本生成高保真多视角一致场景；ZIGNeRF从单图生成多视图；DITTO-NeRF由文本或单图重建高质量NeRF；InpaintNeRF360按语言指令修复缺失区域；Instant3D前馈式20秒生成多样化3D资产；SIGNeRF、ED-NeRF、DN2N、Blended-NeRF等实现快速可控的场景编辑与对象融合。
延伸解读
文本驱动3D生成的两条技术路线
文章呈现了文本生成3D场景的两种路径：Text2NeRF和DITTO-NeRF依赖扩散模型与逐步优化，追求高保真和多视角一致性；Instant3D则采用前馈方式，20秒内生成资产，速度比优化方法快两个数量级。读者可据此判断：需要质量与一致性时倾向优化路线，追求效率时关注前馈方案。
场景编辑与对象插入的差异化设计
SIGNeRF、ED-NeRF、DN2N和Blended-NeRF均面向NeRF场景编辑，但切入点不同：SIGNeRF利用深度条件机制单次迭代更新；ED-NeRF将场景嵌入潜空间以加速编辑；DN2N借助现成文本图像编辑模型并引入交叉视图正则化；Blended-NeRF则通过3D ROI盒子与容积混合实现对象插入。这些差异反映了编辑任务对速度、可控性和无缝融合的不同侧重。
修复与重建中的一致性挑战
InpaintNeRF360和DITTO-NeRF都涉及缺失区域或低对应性问题。前者用可提示分割模型和多视角分割保证视角一致，并利用感知先验修整；后者通过逐步重建规模、角度和遮罩来解决Image-to-3D的低对应性和多视图一致性。这表明多视角一致性仍是NeRF生成与编辑的核心难点，相关方法多通过分阶段策略或额外约束来缓解。
Q&A
Text2NeRF 是如何根据文本生成 3D 场景的？
Text2NeRF 以自然语言描述为输入，利用预训练的文本到图像扩散模型和单目深度估计方法约束 NeRF 模型，以保持内容和几何一致，同时采用逐步场景修复和更新策略保证视角一致性，从而生成高保真、多视角一致的真实感 3D 场景。
Instant3D 生成 3D 资产的速度有多快？
Instant3D 可以在 20 秒内生成高质量、多样化且无 Janus 问题的 3D 资产，比之前需要 1 到 10 小时的基于优化的方法快两个数量级。
InpaintNeRF360 如何修复 NeRF 场景中的缺失区域？
InpaintNeRF360 通过自然语言指令，利用可提示分割模型对 NeRF 场景中缺失的区域进行修复。它应用多个视角的分割以保证视角一致，并利用感知先验进行后续修整以确保视觉真实性，同时增强了无界面的面与正面场景的灵活性。
SIGNeRF 和 Blended-NeRF 在编辑 NeRF 场景时有什么不同？
SIGNeRF 通过图像扩散模型的深度条件机制，在一次迭代中基于参考图像集合对原始 NeRF 进行更新和改进，实现三维一致性视图生成；而 Blended-NeRF 基于文本提示或图像贴片及 3D ROI 盒子，利用预训练的语言-图像模型操纵合成并混合新对象到现有 NeRF 场景中，使用新颖的容积混合技术进行无痕混合。
ED-NeRF 在编辑 NeRF 时有什么优势？
ED-NeRF 通过将真实场景嵌入潜变扩散模型的潜入空间中，并通过独特的细化层，实现了更快速和更易编辑的 NeRF 骨干，同时提出了一种改进的针对编辑的损失函数，在编辑目的上优于传统的得分扩散采样损失。实验表明，ED-NeRF 在编辑速度和输出质量上均胜过现有的最先进的三维编辑模型。
DN2N 如何实现文本驱动的 3D 场景编辑？
DN2N 使用现成的基于文本的图像编辑模型修改 3D 场景图片，并提出了一种去除噪声扰动的训练数据生成方法，以及交叉视图正则化项来帮助泛化 NeRF 模型，从而实现友好、直观和实用的用户编辑体验，并支持多种编辑类型。
