CVPR最佳论文候选 | NeRF新突破,用启发式引导分割去除瞬态干扰物,无需额外先验知识

CVPR最佳论文候选 | NeRF新突破,用启发式引导分割去除瞬态干扰物,无需额外先验知识

💡 原文中文,约4700字,阅读约需12分钟。
📝

内容提要

介绍了启发式引导分割(HuGS)方法解决神经辐射场(NeRF)中瞬态干扰物问题,通过结合启发式算法和分割模型,准确区分瞬态干扰物和静态元素,保留静态细节。

🎯

关键要点

  • 启发式引导分割(HuGS)方法用于解决神经辐射场(NeRF)中的瞬态干扰物问题。
  • HuGS结合了启发式算法和分割模型,能够准确区分瞬态干扰物和静态元素。
  • 研究团队来自中山大学、卡迪夫大学、宾夕法尼亚大学和思谋科技。
  • NeRF在新视角合成和三维重建中表现出色,但对瞬态干扰物的处理不足。
  • 现有方法分为基于语义分割的显式方法和基于启发式算法的隐式方法,前者不通用,后者不够准确。
  • HuGS通过启发式算法生成粗糙提示,再利用分割模型生成精确掩膜。
  • HuGS使用Segment Anything Model (SAM)作为分割模型,结合基于Structure-from-Motion (SfM)和颜色残差的启发式算法。
  • 实验结果表明,HuGS在消除伪影的同时保留了静态细节,优于现有方法。
  • 消融实验验证了HuGS各组件的重要性,缺少任一组件都会影响分割效果。
  • HuGS在没有先验知识的情况下实现了对瞬态干扰物的高准确度分割,具有广泛的应用潜力。
➡️

继续阅读