ECCV 2024 | 像ChatGPT一样，聊聊天就能实现三维场景编辑

CE3D是一种创新的3D场景编辑方法，通过大规模语言模型解析文本输入，将3D编辑转化为2D图集编辑。

现有文本驱动的3D场景编辑方法受限于固定文本输入形式和编辑能力，无法满足用户多样化的需求。

CE3D的核心思想是将3D场景编辑转化为2D空间内的图集编辑，利用Hash-Atlas网络实现多视角编辑与3D重建的解耦。

Hash-Atlas网络将3D场景的不同视图映射到2D图集中，满足编辑过程中的视觉模型理解能力和精确编辑需求。

CE3D利用ChatGPT进行对话式编辑，支持对象移除、风格迁移等多种任务，突破传统方法的限制。

CE3D的基本流程包括解析用户文本、调用视觉工具、执行编辑并反馈结果，形成高效的编辑循环。

CE3D能够处理多种类型的编辑请求，具备强大的扩展能力，编辑能力无上限。

与其他方法相比，CE3D在多轮对话能力和编辑能力上表现更强，打破了现有3D场景编辑方法的范式。

尽管CE3D在3D场景编辑方面取得了显著进展，但在处理360度场景时仍面临挑战，未来有进一步研究的空间。