GaSpCT: 高斯喷点在新型 CT 投影视图合成中的应用
内容提要
本文介绍了一种基于3D高斯模型的新视角合成方法，利用稀疏视图和深度估计实现高效渲染。该方法通过训练高斯参数回归模块，在多个数据集上表现优异，具备快速推断和高质量重建的优势。同时，研究探讨了动态场景合成及其在实时渲染中的应用，推动了3D高斯喷涂技术的发展。
延伸解读
3D高斯模型在CT重建中的优势
文章指出，在稀疏视图CT重建中，3D高斯模型相比隐式神经表示（INR）方法表现出更好的收敛性和新视图渲染质量。其通过滤波反投影重建图像的先验信息初始化高斯模型，并在投影空间比较差异来更新参数，自适应密度控制进一步提升了性能。3D高斯模型能更高效地利用先验信息，将性能分配在空白区域，加速收敛，同时高效学习高频细节。
自监督训练避免配对数据需求
在自监督学习方式下，3D高斯模型避免了大规模配对数据的需求。对AAPM-Mayo数据集的实验证明，相比基于INR的方法，3D高斯模型能提供更优异的性能。这一特点降低了数据采集和标注的成本，为医学影像等配对数据稀缺的领域提供了新的可能性。
MVSplat的高效前馈推断
MVSplat是一种高效的前馈3D高斯分割模型，通过稀疏多视图图像学习。它利用平面扫描建立成本体积表示，存储跨视图特征相似性以提供深度估计的几何线索。仅依靠光度监督，同时学习高斯原图的透明度、协方差和球面谐波系数。在RealEstate10K和ACID基准上，以22帧/秒的最快前馈推断速度实现最先进性能，参数数量比pixelSplat少10倍，推断速度快两倍，且外观和几何质量更高，跨数据集泛化能力更好。
FSGS实现实时逼真视角合成
FSGS是一种基于3D高斯喷砂的少样本视角合成方法，通过高效合成视图实现实时和照片般逼真的视角合成。它设计精巧的高斯解卷积处理稀疏初始化的SfM点，通过分布新的高斯函数填补空白区域的局部细节，并在高斯优化过程中整合大规模预训练的单眼深度估计器，通过在线增强视图引导几何优化。在LLFF、Mip-NeRF360和Blender等数据集上，FSGS在准确性和渲染效率方面均达到最先进水平。
Q&A
高斯喷点在新型CT投影视图合成中的应用是什么？
高斯喷点用于实时合成新视图，支持2K分辨率渲染，并通过高斯参数回归实现高效渲染。
GPS-Gaussian方法的主要优势是什么？
GPS-Gaussian方法具有快速推断和高质量重建的优势，能够在多个数据集上表现优异。
3D高斯模型在动态场景合成中的表现如何？
3D高斯模型在动态场景合成中表现出更好的收敛性和渲染效果，能够有效利用先验信息。
MVSplat模型的特点是什么？
MVSplat模型通过稀疏多视图图像学习，具有快速推断速度和较少的参数使用，提供高质量的外观和几何效果。
FSGS方法如何实现实时视角合成？
FSGS方法通过高效合成视图，利用高斯解卷积处理稀疏初始化的SfM点，实现实时和照片般逼真的视角合成。
自监督学习在3D高斯模型中的作用是什么？
自监督学习方式下的3D高斯模型避免了大规模配对数据的需求，提高了训练效率。
