从 360 度图像中估算 3D 场景几何：一项调查
内容提要
该文综述了360度全景图像三维视觉研究，涵盖空间变化光照、反射与几何估计，球面视差与深度估计，基于切线图像的高分辨率深度重建，全景视觉定位数据集360Loc，自监督球面视图合成，OmniFusion单目深度估计流程，无人驾驶全景深度与位姿恢复，球面图像增量式三维重建，以及室内场景三维布局恢复等方法。实验表明，这些方法在增强现实、定位和自动驾驶等应用中性能优越。
延伸解读
全景深度估计的演进脉络
文章按时间梳理了360度图像深度估计的关键节点：从2018年利用切线图像支持透视深度估计器，到2019年自监督球面视图合成与增量式三维重建，再到2021年高分辨率切线图像方法和2022年OmniFusion流程。这些工作共同指向一个趋势：通过投影变换或网络架构调整来缓解球面畸变，并逐步提升深度图的细节与分辨率。
物理约束与几何先验的价值
2021年4月的工作将空间变化光照、反射率与几何估计联合建模，并引入光照与几何之间的物理约束来改进反射率。这表明在增强现实等应用中，单纯依赖数据驱动的深度估计可能不够，结合物理规律能提升场景属性估计的可靠性。文章称该方法在增强现实应用中达到领先性能，但未给出具体量化对比。
定位与自动驾驶的落地场景
360Loc数据集结合全景图像与激光雷达生成6DoF真值姿态，实验显示全景视觉定位在对称和重复结构的大规模场景中更稳健。另一项2018年研究通过样式和投影转换重新训练现有算法，从单目全景图像恢复深度和车辆三维姿态，提高了无人驾驶使用全景摄像头时的准确性。这些案例说明全景视觉在定位和自动驾驶中具有实际应用潜力。
室内布局恢复的混合思路
2018年6月的工作针对单张全景图像恢复室内三维布局，结合几何推理与深度学习提取结构角并生成房间布局模型，在SUN360和Stanford数据集上实验。这种混合方法不同于纯端到端深度估计，更侧重于房间级结构理解，可为增强现实中的空间锚定提供布局先验，但文章未披露具体精度指标。
Q&A
360度图像深度估计有哪些主要方法？
文章综述了多种方法：基于切线图像投影的高分辨率单目深度估计（Nov, 2021）、自监督球面视图合成学习单目深度（Sep, 2019）、OmniFusion流程（Mar, 2022）通过切线图像分段预测并融合，以及使用重新渲染的3D在线数据集进行端到端深度估计（Jul, 2018）。
360Loc数据集是什么？有什么特点？
360Loc是首个基于视觉定位的跨设备视觉定位数据集和基准（Nov, 2023）。它结合360°图像和激光雷达数据生成全景真实6DoF姿态，支持360°视图映射，并通过虚拟相机方法为不同查询类型的视觉定位任务提供公平比较。研究表明全景视觉定位在对称和重复结构的大规模场景中更稳健。
如何从360度立体图像中估计空间变化光照和反射？
文章提出一种方法（Apr, 2021）：利用全景图像获得场景详细几何信息，结合物理约束共同估计场景属性。通过重建近场光环境、运用深度学习模型推断反射率和表面法线，并加入光照与几何之间的物理约束来改进反射率，在增强现实应用中达到State of the art性能。
球面视差问题在360度图像中如何解决？
文章提到一种新的神经网络架构（Nov, 2019）用于解决360°图像中的球面视差问题，通过学习可移位滤波器构建代价体积以缓解失真问题，实验表明其对现有算法具有较好的鲁棒性和准确性。
全景图像在无人驾驶中如何用于深度和位姿恢复？
文章介绍了一种深度学习算法（Aug, 2018），通过样式和投影转换重新训练和调整现有算法，从单目全景图像中恢复场景深度和车辆的三维姿态，大大提高了无人驾驶汽车使用全景摄像头时的准确性。
室内场景三维布局恢复有哪些新方法？
文章提出一种从单个全景图像中恢复室内场景三维布局的新方法（Jun, 2018），结合几何推理和深度学习技术提取结构角并生成房间布局模型，在SUN360和Stanford公共数据集上进行了实验。
