InstructPix2NeRF: 从单张图像指导的 3D 人像编辑

💡 原文中文,约300字,阅读约需1分钟。
📝

内容提要

该文介绍了一种利用相关性地图来指导修改的方法,以定位文本指令中所隐含的期望编辑区域,并确保不相关的像素保持不变。该方法在图像和 NeRF 编辑任务上实现了最先进的性能。

🎯

关键要点

  • 提出了一种方法来定位文本指令中隐含的期望编辑区域。
  • 利用 InstructPix2Pix(IP2P)确定有无指令情况下的预测差异。
  • 差异作为相关性地图,传达每个像素更改的重要性。
  • 相关性地图用于指导修改,确保不相关的像素保持不变。
  • 该方法增强了文本引导下3D场景的编辑质量。
  • 在图像和NeRF编辑任务上实现了最先进的性能。
➡️

继续阅读