PanoSSC：探索用于自动驾驶的单目全景三维场景重构
内容提要
本文介绍了多种基于相机的3D场景理解方法，如PanoOcc、DepthSSC和SelfOcc。这些方法通过聚合多视角图像信息，提升了语义分割和占用预测的性能，尤其在自动驾驶应用中表现优异。实验结果表明，这些新方法在多个数据集上均优于现有技术，推动了3D场景理解研究的发展。
延伸解读
从语义场景完成到全景场景完成
文章指出，全景场景完成（PSC）任务扩展了语义场景完成（SSC），通过引入实例级别信息，使三维场景理解更丰富。PSC利用基于蒙版的混合技术处理稀疏多尺度完成中的非空体素，并估计体素和实例的不确定性，在三个大规模自动驾驶数据集上优于基线。这标志着场景完成从语义标签向实例感知和不确定性量化的演进。
稀疏表示与实时占用预测
SparseOcc采用稀疏实例查询和掩模引导的稀疏采样，融合先前8帧的时间建模，在Occ3D-nus数据集上达到26.0 mIoU，并保持25.4 FPS的实时推理速度。这表明稀疏表示在占用预测中能兼顾精度与效率，为自动驾驶实时应用提供了可行路径。
自监督学习降低标注依赖
SelfOcc是一种自监督学习方法，仅使用视频序列学习3D占用，通过将图像转换为3D空间并利用自监督信号优化表示。在SemanticKITTI和Occ3D上，使用单帧输入相比之前最佳方法SceneRF提高58.7%，并且是首个在Occ3D上为周围摄像头产生合理3D占用的自监督工作。这有助于减少对昂贵3D标注的依赖。
几何先验与深度信息融合
DepthSSC通过ST-GF模块和几何感知体素化，动态调整体素分辨率以考虑三维空间几何复杂性，确保空间与深度信息精确对齐，解决了空间错位和畸变问题。另一项基于几何学的策略将深度信息与低分辨率体素表示结合，通过3D素描感知特征嵌入编码几何信息，并采用半监督先验学习引导占用推理和语义标签推断，在三个公共基准上一致优于现有技术。这些工作凸显了几何先验在提升场景完成性能中的关键作用。
Q&A
PanoOcc 方法的主要功能是什么？
PanoOcc 是一种基于相机的 3D 全景分割方法，通过体素查询聚合多视角图像信息，提升了语义分割和全景分割的性能。
DepthSSC 方法如何解决空间错位和畸变问题？
DepthSSC 方法结合 ST-GF 模块和几何感知体素化，动态调整体素分辨率，确保空间与深度信息的精确对齐，从而解决了空间错位和畸变问题。
SelfOcc 方法的创新之处在哪里？
SelfOcc 是一种自监督学习方法，通过视频序列学习 3D 占用情况，优化 3D 场景表示，并在多个数据集上达到了最先进的结果。
SparseOcc 在占用预测方面的表现如何？
SparseOcc 通过稀疏实例查询和时间建模实现了自主驾驶的占用预测，在 Occ3D-nus 数据集上达到了 26.0 的平均交并比。
MonoOcc 方法是如何改进单目占据预测的？
MonoOcc 通过引入辅助语义损失和交叉注意力模块，改进了单目占据预测框架，取得了最佳性能。
OccNet 提供了什么样的 3D 占用表示法？
OccNet 提供了一种新的 3D 占用表示法，能够有效支持多个驾驶任务，并在 nuScenes 数据集上取得了显著的性能提升。
