Splatt3R:来自非校准图像对的零-shot高斯喷溠

💡 原文中文,约500字,阅读约需2分钟。
📝

内容提要

Splatter Image是一种基于高斯颗粒化技术的超快速单目三维物体重建方法,使用神经网络将输入图像映射到每个像素点上的三维高斯,实现实时渲染和快速训练。通过添加交叉视图注意力,可以使用多个图像作为输入。在标准基准测试中,Splatter Image相比其他方法取得了更好的结果。

🎯

关键要点

  • Splatter Image是一种超快的单目三维物体重建方法,运行速度达到每秒38帧。
  • 该方法基于高斯颗粒化技术,实现了实时渲染、快速训练和出色的多视角重建扩展性。
  • 首次将高斯颗粒化应用于单目重建领域,使用神经网络进行前馈评估完成重建。
  • Splatter Image的创新在于使用二维图像到图像的网络,将输入图像映射到每个像素点上的三维高斯。
  • 通过添加交叉视图注意力,扩展了方法,支持多个图像作为输入。
  • 渲染器速度达到每秒588帧,训练时只需一个GPU,优化感知度量标准。
  • 在标准基准测试中,Splatter Image在PSNR、LPIPS等度量标准上优于最近和更昂贵的基线方法。
➡️

继续阅读