CVPR 2026｜Oxygen XR 团队在原生鱼眼高斯泼溅技术上带来新突破
内容提要
DirectFisheye-GS框架由京东零售与清华大学联合提出，将鱼眼模型原生嵌入3D高斯泼溅管线，实现鱼眼图像直接无损处理，并引入跨视角联合优化，解决形状畸变和视角不一致问题。实验在多个数据集上达到或超越SOTA，兼容现有工具链，兼顾渲染效率与重建质量，论文已被CVPR 26接收。
延伸解读
原生鱼眼处理的意义
传统高斯泼溅依赖针孔相机，视场有限，需大量图像覆盖场景。鱼眼相机虽视场宽，但现有方案常先去畸变，导致信息丢失和伪影。DirectFisheye-GS将鱼眼模型原生嵌入管线，无需预处理，直接处理鱼眼图像，避免信息损失，提升重建质量，尤其在大畸变边缘区域效果显著。
跨视角联合优化的作用
单视角随机优化易导致高斯形状畸变和视角间不一致。DirectFisheye-GS引入跨视角联合优化，同步优化所有视角的高斯参数，抑制畸变，保证几何与光度一致性，提升鲁棒性和效率，使重建结果更稳定、更真实。
技术应用前景与挑战
该技术可应用于电商商品数字化、3D直播、4D体积视频等场景，提升购物体验和内容沉浸感。但当前拍摄过程复杂、重建耗时较长，限制大规模普及。未来随着端侧算力提升和算法优化，有望实现一键采集和秒级重建，推动技术落地。
Q&A
DirectFisheye-GS 框架是由谁提出的？
DirectFisheye-GS 框架由京东零售 Oxygen XR 产品研发团队与清华大学联合提出。
DirectFisheye-GS 主要解决了什么问题？
它解决了传统高斯泼溅在处理鱼眼图像时依赖去畸变预处理导致的信息丢失、细节模糊及漂浮伪影问题，并解决了单视角随机优化引起的高斯形状畸变和视角间几何/光度不一致问题。
DirectFisheye-GS 的核心创新点是什么？
核心创新点包括：1）将基于泰勒展开的多项式扩展方法嵌入3DGS渲染框架，构建通用化鱼眼投影模型，实现鱼眼图像的直接无损处理；2）引入跨视角联合优化策略，同步优化所有视角下的高斯参数，确保几何与光度一致性。
DirectFisheye-GS 在实验中表现如何？
在 FisheyeNeRF、ScanNet++、Den-SOFT 等多个公开数据集上，DirectFisheye-GS 在 PSNR、SSIM、LPIPS 指标上均达到或超越现有最优性能，尤其在鱼眼图像边缘畸变超过60°视场的区域，PSNR 指标相较 3DGUT 提升显著，并有效消除了边缘马赛克伪影、纹理模糊等问题。
DirectFisheye-GS 与传统方法相比有什么优势？
优势在于无需对鱼眼图像进行去畸变预处理，从根本上避免了信息损失与细节模糊；同时通过跨视角联合优化，解决了单视角优化带来的形状畸变和视角不一致问题，实现了渲染效率与重建质量的兼顾，并能无缝兼容现有3DGS工具链。
DirectFisheye-GS 有哪些实际应用场景？
在电商领域，可用于商品和空间场景的数字化，实现虚实结合的3D直播；在内容创作方面，可将传统2D直播带货短视频升级为4D体积视频，为用户提供更具交互性和沉浸感的体验。
DirectFisheye-GS 的论文被哪个会议接收？
论文被 CVPR 2026 接收。
