用于自动驾驶的可扩展基于视觉的三维物体检测与单目深度估计
内容提要
本文综述自动驾驶中单目三维目标检测研究，涵盖基于RGB相机的检测框架、深度估计、伪立体视图、自监督学习及多数据集训练等方法，比较各类方法优劣，指出三维空间检测优于二维图像平面，未来需提升泛化能力。
延伸解读
从二维到三维：检测范式的转变
文章指出，单目三维目标检测的核心思路是将输入从二维图像平面转换到三维点云空间进行处理，并利用PointNet等网络增强点云辨别能力。这种范式转变表明，在三维空间中直接推断三维包围盒比在二维图像平面上更有效，为自动驾驶感知提供了更自然的解决方案。
深度估计与几何建模的关键作用
多篇研究强调深度估计是单目三维检测的瓶颈。基于几何建模的投影模型方法能显著改进深度估计，从而提升检测性能。此外，伪立体视图和视差动态卷积等技术通过模拟立体视觉，从单张图像中恢复三维信息，在KITTI基准上取得了领先结果。
自监督与多数据集训练的泛化追求
为减少对激光雷达等昂贵传感器的依赖，研究探索了基于纯RGB序列的自监督三维检测，性能可与使用激光雷达或立体图像的方法相当。同时，利用多样化数据集和伪三维训练策略，模型展现出对仅有二维标签的新数据集的强大泛化能力，这是迈向实际部署的重要一步。
Q&A
自动驾驶中单目三维物体检测主要面临哪些挑战？
主要挑战在于二维图像数据缺乏深度信息，难以直接确定物体的三维位置和方向。因此需要利用深度估计、伪立体视图、自监督学习等方法，从单张RGB图像中推断三维包围盒。
有哪些方法可以提升单目三维物体检测的深度估计精度？
可以采用基于几何建模的投影模型方法改进深度估计，或者通过伪立体视图生成虚拟视图并利用视差动态卷积进行特征滤波，从而提升检测性能。
自监督学习在单目三维物体检测中有什么应用？
有研究提出基于多视角和弱标签的纯RGB序列的自监督3D物体检测方法，在KITTI 3D数据集上性能与使用激光雷达或立体图像的最先进自监督方法相当。
如何训练一个泛化能力强的单目三维物体检测模型？
可以训练一个鲁棒的单目三维物体检测模型，采用多样化的三维和二维数据集，有选择地训练不同类别注释的数据集，并使用二维标签的伪三维训练方法，从而获得强大泛化能力，对只有二维标签的新数据集表现出色。
单目三维物体检测中，在三维空间处理比在二维图像平面处理有什么优势？
在三维空间中推断三维包围盒比在二维图像平面中更加有效，因为可以直接利用三维空间信息，提高检测准确性。例如，有方法将输入数据从二维图像平面转换为三维点云空间，并使用PointNet进行三维检测，在KITTI数据集上表现超过现有最新单目方法。
目前单目三维物体检测在KITTI数据集上取得了哪些领先成果？
有方法在KITTI-3D基准测试中获得了车辆、行人和骑行者三个类别的第一名，例如伪立体式三维检测框架。此外，基于多视角和弱标签的自监督方法性能与使用激光雷达或立体图像的最先进自监督方法相当。
