CVPR 2026｜Oxygen XR 团队在原生鱼眼高斯泼溅技术上带来新突破
内容提要
DirectFisheye-GS框架由Oxygen XR团队与清华大学联合提出，将鱼眼模型原生嵌入3D高斯泼溅管线，实现鱼眼图像直接无损处理，并引入跨视角联合优化，解决高斯形状畸变和视角不一致问题。实验在多个数据集上达到或超越SOTA，兼容现有工具链，兼顾渲染效率与重建质量，论文被CVPR 26接收。
延伸解读
鱼眼图像处理的新思路
传统高斯泼溅依赖针孔相机，视场有限，需大量图像覆盖场景。鱼眼相机视场广，但现有方案常先去畸变，导致信息丢失和伪影。DirectFisheye-GS将鱼眼模型原生嵌入3DGS管线，无需预处理，直接处理鱼眼图像，从根本上避免信息损失，为超广角场景重建提供了更高效、更保真的新路径。
跨视角联合优化的价值
单视角随机优化易导致高斯形状畸变和视角间不一致。DirectFisheye-GS引入跨视角联合优化，同步优化所有视角的高斯参数，有效抑制畸变，保证几何与光度一致性。这一策略不仅提升重建质量，还增强算法鲁棒性，对多视角重建任务具有普遍参考意义。
实验验证与性能表现
在FisheyeNeRF、ScanNet++、Den-SOFT等数据集上，DirectFisheye-GS在PSNR、SSIM、LPIPS指标上均达到或超越现有最优方法，尤其在鱼眼边缘畸变超过60°视场区域，PSNR提升显著。定性结果也显示其能消除马赛克伪影、纹理模糊等问题，细节保留和跨视角光照一致性优于现有方案。
应用前景与当前局限
该技术可应用于电商3D商品展示、空间数字化、4D体积视频等场景，提升交互性和沉浸感。但当前拍摄过程复杂，需多角度采集和布光，重建耗时较长，从采集到生成模型需数十分钟至数小时，制约大规模普及。未来随着端侧算力提升和算法优化，有望实现一键采集和秒级重建。
Q&A
DirectFisheye-GS框架是由谁提出的？
DirectFisheye-GS框架由Oxygen XR产品研发团队与清华大学联合提出。
DirectFisheye-GS的核心创新点是什么？
核心创新点有两个：一是将鱼眼模型原生嵌入3D高斯泼溅管线，实现对鱼眼图像的直接无损处理；二是引入跨视角联合优化策略，解决高斯形状畸变和视角间不一致问题。
传统高斯泼溅处理鱼眼图像时存在哪些问题？
传统方法通常依赖针孔相机模型，视场有限，需要大量图像；而使用鱼眼图像时，现有方案多依赖去畸变预处理，容易导致信息丢失、细节模糊和漂浮伪影。
DirectFisheye-GS如何实现鱼眼图像的无损处理？
它通过将基于泰勒展开的多项式扩展方法嵌入3DGS渲染框架，用四个畸变参数构建通用化投影模型，并推导了投影雅可比矩阵，实现了3D高斯到鱼眼图像的可微投影，从而无需去畸变预处理，避免了信息损失。
DirectFisheye-GS在实验中表现如何？
在FisheyeNeRF、ScanNet++、Den-SOFT等多个公开数据集上，DirectFisheye-GS在PSNR、SSIM、LPIPS指标上均达到或超越现有最优性能，尤其在鱼眼图像边缘畸变超过60°视场的区域，PSNR提升显著，并有效消除了边缘马赛克、纹理模糊等问题。
DirectFisheye-GS有哪些实际应用场景？
该技术可用于商品和空间场景的数字化、虚实结合的3D直播，以及将传统2D直播带货短视频升级为4D体积视频，为用户提供更具交互性和沉浸感的体验。
DirectFisheye-GS的论文被哪个会议接收？
论文被CVPR 2026接收。
