OccTransformer:改进 BEVFormer 以用于 3D 仅相机空间占用预测

💡 原文中文,约2000字,阅读约需5分钟。
📝

内容提要

本文综述了自动驾驶3D占用预测的进展,包括OccFormer、CTF-Occ、SelfOcc、COTR、OCBEV、WidthFormer、SOccDPT和UniOCC等方法,这些方法在SemanticKITTI、nuScenes等数据集上提升了语义分割与占用预测性能,并降低了标注与计算成本。

🔎

延伸解读

技术演进:从BEV到占用预测的多样化探索

文章梳理了2023年多个3D占用预测方法,如OccFormer、CTF-Occ、SelfOcc等,它们分别从双路径Transformer、由粗到细网络、自监督学习等角度切入。这些工作共同推动了从BEV感知向更精细的3D占用预测的演进,并在SemanticKITTI、nuScenes等数据集上验证了有效性,反映了该领域快速迭代的趋势。

自监督与半监督:降低标注依赖的尝试

SelfOcc利用视频序列自监督学习3D占用,在SemanticKITTI和Occ3D上相比SceneRF提升58.7%;SOccDPT则通过半监督流程和伪标签减少人工标注,并在无结构交通场景中表现良好。这些方法表明,减少对密集3D标注的依赖是当前研究的重要方向,有助于降低数据成本并提升模型泛化能力。

效率与部署:实时性与内存优化的权衡

WidthFormer注重计算效率,无需特殊工程部署即可生成高质量BEV表示;SOccDPT引入分块训练以降低内存使用,并以69.47 Hz的频率运行。这些优化针对自动驾驶实时性和资源受限环境,但文章未提供与其他方法在精度-速度权衡上的直接对比,实际部署时需结合具体场景评估。

性能表现:数据集上的进展与局限

UniOCC在nuScenes挑战赛中获得51.27% mIoU,OCBEV比BEVFormer提升1.5 NDS点,COTR相对改进8%-15%。这些结果显示了不同方法在特定数据集上的优势,但文章未讨论跨数据集的泛化性、恶劣天气或传感器故障等鲁棒性问题,读者需注意这些指标仅反映有限条件下的性能。

❓

Q&A

OccFormer是什么?它在自动驾驶中有什么作用?

OccFormer是一种双路径Transformer网络,用于处理自动驾驶中的3D立体体素特征,并在SemanticKITTI数据集上对语义完整性和nuScenes数据集上的LiDAR语义分割方面优于现有方法。它通过设计3D解码器利用多视图图像的鸟瞰图(BEV)特征预测3D场景的占位情况,为多摄像头智能驾驶提供了一种先进的、可行的和经济高效的解决方案。

SelfOcc在3D占用预测中有什么创新和优势?

SelfOcc是一种自监督学习方法,使用视频序列仅学习3D占用情况,通过将图像转换为3D空间来得到3D场景表示,并利用自监督信号优化这些表示。它在SemanticKITTI和Occ3D上使用单帧输入相比之前最佳方法SceneRF提高58.7%,并且是首个在Occ3D上为周围摄像头产生合理的3D占用情况的自监督工作。SelfOcc在SemanticKITTI、KITTI-2015和nuScenes上达到了最先进的结果,分别在新颖深度合成、单目深度估计和环视深度估计方面实现了高质量的深度。

COTR如何解决3D占用预测中的计算成本问题?

COTR提出了一种紧凑的占据转换器,它具有一个具有几何意识的占据编码器和一个语义意识的组解码器来重建紧凑的3D OCC表示。这种方法解决了像TPV表示这样的压缩视图会丢失3D几何信息,而原始和稀疏的OCC表示则需要大量但冗余的计算成本的问题。实验表明,在多个基线上有明显的性能提升,例如,COTR相对改进8%-15%。

OCBEV在nuScenes数据集上取得了什么成果?

OCBEV是一种新的Object-Centric query-BEV检测器,它可以更有效地针对动态场景中移动目标的时间和空间线索。经过在挑战性的nuScenes数据集进行广泛实验评估后,该方法取得了最先进的结果,比传统的BEVFormer提高了1.5个NDS点,并具有更快的收敛速度和更少的训练迭代次数来达到相似的性能。

WidthFormer如何实现实时自动驾驶的BEV检测?

WidthFormer将Bird's-Eye-View(BEV)3D检测方法应用于实时自动驾驶应用,其具有计算效率高、有效、无需特殊工程部署等特点,并通过引入3D位置编码机制实现了准确融合3D几何信息,从而实现生成高质量BEV表示的目标。

SOccDPT在处理无结构交通场景时有什么优势?

SOccDPT是一种从单目图像输入中使用密集预测变换器进行3D语义占用预测的内存高效方法。它通过对印度行驶数据集和班加罗尔行驶数据集等无结构数据集进行训练,解决了现有方法在结构化交通数据集训练时的局限性。其半监督训练流程通过减少手动标注的要求,使用伪基准真实标签代替,产生了班加罗尔语义占用数据集。这种更广泛的训练增强了模型在处理无结构交通场景方面的能力。为了克服训练过程中的内存限制,它引入了分块训练,在每个时期选择一部分参数进行训练,减少了自动图构建过程中的内存使用。在无结构交通和内存受限的训练和推理环境中,SOccDPT相对于现有的视差估计方法表现更好,RMSE分数为9.1473,语义分割IoU得分为46.02%,并以竞争频率69.47 Hz工作。

UniOCC在CVPR2023的nuScenes挑战中取得了什么成绩?

UniOCC解决方案采用空间几何约束和体积光线渲染来提高3D占用预测性能,从而在CVPR2023的nuScenes Open Dataset Challenge中获得了51.27%的mIoU,在3D占用注释成本方面具有很大的潜力。

🏷️

标签

➡️

继续阅读