计算机视觉与仿真中的环绕视图鱼眼光学：调查与挑战
内容提要
该文综述鱼眼相机在自动驾驶感知中的研究进展，涵盖多任务网络、WoodScape数据集、多相机标定、目标检测竞赛、域漂移评估及车位检测，旨在克服径向畸变，推动鱼眼视觉应用。
延伸解读
鱼眼视觉的独特挑战与应对思路
鱼眼相机能提供超广角视野，但径向畸变严重，传统校正方法会引入信息损失和计算开销。文章指出，直接在未校正鱼眼图像上训练多任务网络（如深度估计、语义分割等）可避免校正步骤，并在KITTI数据集上取得深度估计和姿态估计的最新结果。这提示研究者可探索端到端学习以保留原始视场信息。
数据集与竞赛推动领域发展
WoodScape是首个大规模鱼眼汽车数据集，包含四个全景相机和九个任务，为超过1万张图像提供40类语义实例注释，其他任务注释超10万张。基于该数据集的CVPR OmniCV鱼眼目标检测竞赛吸引了120支队伍、1492次提交，表明社区对鱼眼视觉的关注度提升，数据集和竞赛正成为算法创新的重要驱动力。
域漂移与光学指标的实际影响
自动驾驶感知模型在不同车辆上部署时，车窗配置差异会导致域漂移，影响神经网络性能。文章通过傅里叶光学威胁模型评估发现，车窗引入的性能差异可能无法被现有光学指标充分捕捉。这意味着实际部署中需考虑硬件差异对模型的影响，并开发更鲁棒的评估指标。
从感知到控制的落地探索
鱼眼视觉不仅用于感知任务，还扩展到车辆控制。有研究利用短程鱼眼相机生成数据和标签增强，控制自动驾驶汽车转向角，实验表明在大多数道路情况下自主性超过99%。此外，基于YOLOv4和多边形边界框的车位检测与分类研究，展示了鱼眼相机在自动泊车等场景的实用潜力。
Q&A
鱼眼相机在自动驾驶感知中有什么优势？
鱼眼相机具有超广角视野，能够提供环绕视图，覆盖车辆周围更大范围，适合用于自动泊车、车辆定位和物体检测等任务。
WoodScape数据集是什么？
WoodScape是首个大规模的鱼眼汽车数据集，包含四个全景相机和九个任务，为超过10,000张图像提供了40种类别的语义实例注释，以及其他任务的注释超过100,000张图像。
多鱼眼相机系统如何标定？
多鱼眼相机系统的标定和处理流程可以精确标定多相机系统，构建稀疏的三维地图用于视觉导航、车辆定位，并基于实时深度图提取进行精确的物体检测。
鱼眼图像中的径向畸变如何处理？
可以通过在未经校正的鱼眼图像上运行多任务视觉感知网络，或者使用专门为鱼眼图像设计的算法，而不是采用朴素的矫正方法。
域漂移对自动驾驶感知有什么影响？
在不同车辆类型上部署训练模型可能会引起域漂移问题，对神经网络性能造成潜在影响并违反工作中的ADAS要求。车窗配置会引入性能差异，而现有的光学指标可能不足以提出要求。
基于鱼眼摄像头的车位检测如何实现？
采用YOLOv4神经网络和新的多边形边界框模型，对电动车位、残疾人车位和普通车位进行有效分类。
