通过多任务鱼眼交叉视图变换器增强停车感知
内容提要
本文探讨了多鱼眼相机系统的标定与处理，应用于自动泊车场景。研究提出了一种基于图像输入的停车位检测算法，利用YOLOv4和新型边界框模型实现高效分类，并通过协同感知网络提升环境感知性能，特别是在行人检测方面，展示了基础设施辅助的优势。
延伸解读
鱼眼相机标定与三维地图构建
文章指出，多鱼眼相机系统的标定和处理流程可用于自动泊车等场景。该流程能精确标定多相机系统，并构建稀疏三维地图，用于视觉导航和车辆定位。这为后续的感知任务提供了基础，但文章未涉及标定精度的具体指标或实际部署中的挑战。
停车位检测与占用分类的进展
文章介绍了基于图像输入的自动停车位检测和占用分类算法（APSD-OC），该算法在鸟瞰图上聚类检测停车位，并使用ResNet34分类器进行占用或空置分类。在公开数据集上评估显示较高效率，并对非法停车或经过车辆具有稳健性。此外，HPS-Net作为YOLOv4的定制版本，能实时输出停车位在鸟瞰图中的坐标，检测速度达17 FPS，F1值为0.92。
协同感知提升环境感知性能
文章提出一种基于BEV特征的协同感知网络架构，通过融合道路边缘摄像机和激光雷达与车载传感器，压缩BEV特征图以适应NR-V2X数据速率。在合成AVP数据集上，协同感知有效提高了感知性能，尤其是行人检测。在两种安全关键场景中，基础设施辅助使最大安全巡航速度提高了3m/s。
鱼眼相机物体检测的表示方法比较
针对鱼眼相机在环视近场感测中的物体检测，文章设计了旋转边界框、椭圆、通用多边形等表示方式，并提出了实例分割的mIOU指标进行分析。FisheyeDetNet模型使用多边形表示优于其他方法，在Valeo鱼眼环视数据集上达到49.5%的mAP得分。这是首个关于自动驾驶场景下鱼眼相机物体检测的详细研究。
Q&A
多鱼眼相机系统如何应用于自动泊车？
多鱼眼相机系统通过精确标定和构建稀疏三维地图，支持视觉导航和车辆定位，从而应用于自动泊车场景。
APSD-OC算法的主要功能是什么？
APSD-OC算法通过聚类检测停车位，并使用ResNet34进行占用分类，实现自动停车位检测。
HPS-Net与YOLOv4有什么关系？
HPS-Net是YOLOv4算法的定制版本，能够实时检测停车位并输出其在鸟瞰图中的坐标。
协同感知网络如何提升环境感知性能？
协同感知网络通过结合道路边缘摄像机和激光雷达，扩大车辆视野，有效提升行人检测等环境感知性能。
FisheyeDetNet模型的表现如何？
FisheyeDetNet模型在Valeo鱼眼环视数据集上达到了49.5%的mAP得分，展示了其在自动驾驶场景下的物体检测潜力。
如何提高停车位检测的准确性？
通过使用特定训练的ResNet34深度分类器和在公开数据集上进行广泛评估，可以提高停车位检测的准确性。
