鱼眼相机与超声波传感器在鸟瞰图中近场障碍物感知的融合
内容提要
本文综述基于鸟瞰图（BEV）的多传感器融合感知方法，涵盖鱼眼相机、LiDAR与雷达融合，用于深度估计、语义分割、3D目标检测及轨迹预测。研究表明，多模态融合在nuScenes等数据集上优于单模态基线，提升了自动驾驶感知的鲁棒性与精度。
延伸解读
多模态融合在BEV感知中的优势
文章指出，多传感器融合方法在鸟瞰图（BEV）表示中统一多模态特征，能提升自动驾驶感知的鲁棒性与精度。例如，BEVFusion在nuScenes上创立了新的技术水平，FusionFormer在3D目标检测中获得了72.6%的mAP和75.1%的NDS，优于现有最先进方法。雷达-相机融合也明显优于单模态基线。这些结果表明，融合互补的传感器信息是提升感知性能的有效途径。
鱼眼相机与超声波传感器的角色
文章提到，多鱼眼相机系统的标定和处理流程可用于自动泊车等近场应用，通过精确标定和实时深度图提取进行物体检测。虽然文章未明确讨论超声波传感器，但鱼眼相机在近场感知中具有重要作用。结合其他传感器如LiDAR和雷达，可以增强近场障碍物感知的可靠性，但具体融合方法需进一步研究。
技术挑战与数据依赖性
文章指出，相机分支需要大量多样化的训练数据，而雷达分支更受高性能雷达的影响。使用迁移学习可以改善较小数据集上相机的性能。此外，LiDAR数据稀疏性问题可通过跨模态方法缓解。这些因素表明，多传感器融合系统的性能高度依赖于数据质量和传感器特性，实际部署时需考虑数据采集和传感器配置的成本与可行性。
Q&A
鱼眼相机在自动驾驶感知中有什么作用？
鱼眼相机可用于多任务视觉感知，如深度估计、视觉测距、语义分割、动态分割、目标检测和镜头污染检测，并支持自动泊车等应用。
BEV多传感器融合通常融合哪些传感器？
通常融合鱼眼相机、LiDAR和雷达，有时也融合高清地图，以提升感知鲁棒性和精度。
BEVFusion框架有什么特点？
BEVFusion是一个有效且通用的多任务多传感器融合框架，通过在共享的鸟瞰图表示空间中统一多模态特征，支持不同的3D感知任务，并在nuScenes上创立了新的技术水平。
雷达与相机融合相比单模态有什么优势？
雷达相机融合方法明显优于仅相机和仅雷达的基线模型，能提供更鲁棒可靠的感知系统。
多传感器融合在nuScenes数据集上取得了哪些成果？
多模态融合在nuScenes上优于单模态基线，例如FusionFormer在3D目标检测中获得了72.6%的mAP和75.1%的NDS，优于现有最先进方法。
多鱼眼相机系统的标定和处理流程有什么应用？
该流程可用于自动泊车等场景，能精确标定多相机系统，构建稀疏三维地图用于视觉导航和车辆定位，并基于实时深度图提取进行精确物体检测。
