去模糊的三维高斯渲染

💡 原文中文,约1700字,阅读约需4分钟。
📝

内容提要

文章综述了3D高斯泼溅(3DGS)在实时新视图合成中的进展:以3D高斯表示场景并优化参数,结合可见性感知渲染实现1080p实时渲染;可变形3D高斯用于动态场景重建;无需SfM预处理的新视图合成;多尺度3DGS缓解锯齿;Splatter Image实现单目三维重建;pixelSplat从图像对重建辐射场;文本到三维生成;神经隐式表面重建;以及稀疏视角下的一致性改进。

🔎

延伸解读

实时渲染的关键:可见性感知与参数优化

文章指出,实现1080p、30帧/秒以上的实时新视图合成,依赖三个要素:用3D高斯表示场景、优化高斯参数以准确表达场景,以及开发快速的可见性感知渲染算法。这种渲染算法能加速训练并实现实时渲染,说明高斯泼溅的效率不仅来自表示本身,也来自针对可见性的渲染优化。

动态场景与无SfM预处理的新进展

可变形3D高斯将高斯泼溅扩展到动态场景,通过多层感知器定义时间相关变形场,并用静态高斯点云集中表示能力,优化和渲染速度快于前沿动态NeRF方法。另一项工作利用显式几何表示和视频连续性,无需SfM预处理即可进行新视图合成,在大运动变化下改善了视角合成和相机姿态估计性能。

单目与双视图重建的效率提升

Splatter Image将单目三维重建视为图像到图像映射,为每个像素预测一个3D高斯,测试时仅需前馈评估一次网络,运行速度达38帧/秒,渲染器速度达588帧/秒。pixelSplat则从图像对重建3D辐射场,通过预测密集概率分布并采样高斯均值来克服局部最小值,在RealEstate10k和ACID数据集上渲染速度比现有光场变换器快2.5个数量级。

多尺度、文本到三维与稀疏视角的改进方向

多尺度3D高斯泼溅在不同分辨率下提升渲染质量,缓解像素尺寸低于奈奎斯特频率引起的锯齿效应,并提高渲染速度和PSNR。文本到三维生成框架通过控制高斯球透明度、引入多视角噪声分布矫正不一致性,并使用变分高斯泼溅提升外观质量。稀疏视角方法集成深度先验、生成和显式约束,减少背景折叠和浮点值,在MipNeRF-360数据集上以更少训练和推理成本超过基本3DGS 30.5%、基于NeRF方法15.6%。

❓

Q&A

3D高斯泼溅如何实现实时1080p新视图合成?

通过三个关键要素:使用3D高斯函数表示场景、优化3D高斯函数的相关参数以准确表示场景,以及开发快速的可见性感知渲染算法来加速训练并实现实时渲染(≥30帧/秒)。

动态场景重建中可变形3D高斯方法有什么优势?

可变形3D高斯方法将高斯泼溅扩展为可变形高斯集合,通过多层感知器定义时间相关变形场,同时使用静态高斯点云让MLP集中表示能力。最终优化结果与最前沿的动态神经辐射场方法相媲美,且优化和渲染速度更快。

如何解决3D高斯泼溅中的锯齿效应?

使用多尺度的3D高斯泼溅算法,可以在不同分辨率下提高渲染质量,解决像素大小低于奈奎斯特频率引起的锯齿效应,同时提高渲染速度和PSNR值。

Splatter Image如何实现单目三维重建?

Splatter Image是一种超快的单目三维物体重建方法,运行速度达38帧/秒。它使用二维图像到图像的网络将输入图像映射到每个像素点上的一个三维高斯,得到的高斯形式呈现为一张图像。测试时只需前馈评估一个神经网络即可完成重建,并扩展支持多图像输入和交叉视图注意力。

pixelSplat如何从图像对重建三维辐射场?

pixelSplat是一个前馈模型,从图像对中学习重建由3D高斯基元参数化的3D辐射场。它预测3D上的密集概率分布并从中采样高斯均值,通过参数化技巧使采样可微分,从而进行梯度反向传播。在RealEstate10k和ACID数据集上,它胜过现有最先进的光场转换器,渲染速度加快2.5个数量级。

稀疏视角下如何提升3DGS重建的一致性?

通过集成深度先验、生成和显式约束来减少背景折叠、移除浮点值,并增强来自未见视角的一致性。实验证明该方法在MipNeRF-360数据集上以较少的训练和推理成本超过了基本3DGS的30.5%和基于NeRF的方法的15.6%。

🏷️

标签

➡️

继续阅读