Gamba：将高斯点渲染与 Mamba 相结合用于单视角三维重建
内容提要
本文探讨了一种名为AGG的三维内容生成方法，能够从单张图像即时生成三维高斯物体，提升生成速度和质量。研究提出了GaussianObject框架，通过高斯散射实现高质量渲染，解决了多视角一致性问题。此外，SplaTAM方法实现了稠密的同时定位和地图构建，展现出优越性能。DreamGaussian框架在效率和质量上取得平衡，显著加速了三维模型生成。
延伸解读
从逐实例优化到摊销生成：AGG 的效率突破
AGG 提出摊销生成三维高斯架构，从单张图像即时生成三维高斯物体，无需逐实例优化。通过中间混合表示联合优化高斯位置和外观属性，并采用级联流水线先生成粗表示再超分辨率上采样。与基于优化和采样的方法相比，生成速度提升数个数量级，同时保持有竞争力的生成质量。
稀疏视图重建与实时 SLAM：高斯散射的落地进展
GaussianObject 仅需 4 张输入图像即可通过高斯散射实现高质量渲染，解决多视角一致性和信息补全难题。SplaTAM 首次用 3D 高斯模型表示场景，实现稠密 SLAM，在相机定位、地图构建和新视图合成上性能达现有方法 2 倍，并支持高分辨率稠密 3D 地图的实时渲染。
效率与质量的平衡：DreamGaussian 与 Splatter Image
DreamGaussian 在 UV 空间设计生成性 3D 高斯飞溅模型，配合网格提取和纹理细化，仅用 2 分钟从单视图生成高质量纹理网格，速度提升约 10 倍。Splatter Image 基于高斯颗粒化，以每秒 38 帧运行，使用二维图像到图像网络将输入映射为逐像素三维高斯，在 PSNR、LPIPS 等指标上优于更昂贵的基线。
Mamba 的跨领域扩展：从医学图像到全色锐化
MambaMIR 及其 GAN 变体利用 Mamba 的线性复杂度、全局感受野和动态权重，通过任意掩码机制适应图像重建任务，并提供蒙特卡洛不确定性估计，在快速 MRI 和 SVCT 中取得与最先进方法相当或更好的结果。Pan-Mamba 首次将 Mamba 用于全色锐化，通过轻量级跨模态交互实现高效融合，超越现有方法。
Q&A
AGG方法的主要特点是什么？
AGG是一种新型的三维高斯架构，能够从单张图像即时生成三维物体，提升生成速度和质量。
GaussianObject框架如何解决多视角一致性问题？
GaussianObject框架通过高斯散射实现高质量渲染，仅需4张输入图像，解决了多视角一致性和补充遗漏物体信息的困难。
SplaTAM方法的优势是什么？
SplaTAM方法在相机定位、地图构建和新视图合成方面的性能达到了现有方法的2倍，展现出优越性。
DreamGaussian框架的效率如何？
DreamGaussian框架在效率和质量上取得平衡，仅用2分钟生成高质量的纹理网格，速度提升约10倍。
Splatter Image方法的运行速度是多少？
Splatter Image方法的运行速度达到每秒38帧，基于高斯颗粒化技术。
Mamba模型在医学图像重建中的应用效果如何？
Mamba模型在多个医学图像重建任务中取得了与当今最先进方法相媲美甚至更好的重建结果。
