FlatFusion：深入研究稀疏Transformer基础上的相机和激光雷达融合技术以实现自动驾驶
内容提要
本文介绍了一种新方法，通过稀疏激光雷达数据估计密集光流，适用于恶劣天气或夜间。该方法结合多尺度滤波器和FlowNet2，在Kitti数据集上表现出与基于图像的方法相当的效果。此外，提出了多模态融合架构DeepFusion和HRFuser，提升了自动驾驶中的3D检测性能，并展现了对数据偏移的鲁棒性。
延伸解读
稀疏激光雷达光流估计的实用价值
在恶劣天气或夜间等图像不可靠的场景下，基于图像的光流方法容易失效。本文提出的方法利用稀疏激光雷达数据估计密集光流，作为替代方案。尽管激光雷达测量低分辨率且稀疏，但在Kitti数据集上，其效果与基于图像的方法相当。这为自动驾驶在视觉受限环境下提供了冗余感知能力，但需注意其性能仍受限于激光雷达的稀疏性。
多模态融合架构的演进与鲁棒性
文章介绍了DeepFusion和HRFuser等融合架构。DeepFusion基于InverseAug和LearnableAlign，提升了PointPillars、CenterPoint等基线的3D检测性能，并展现出对数据偏移的鲁棒性。HRFuser则通过多分辨率融合提高2D检测性能。这些工作表明，融合激光雷达与相机特征能有效提升检测精度和鲁棒性，但实际部署需考虑传感器故障等异常情况。
技术对比与适用场景
与TransFusion、BEVFusion等方法相比，本文方法专注于光流估计，而其他方法侧重于3D检测。BEVFusion不依赖雷达数据输入，解决了雷达故障的影响，在鲁棒性训练下mAP提升15.7%至28.9%。SparseFusion则利用稀疏候选实现高效融合。不同方法各有侧重，选择时需根据具体任务（如光流或检测）和环境条件（如传感器可靠性）进行权衡。
Q&A
稀疏激光雷达数据如何估计密集光流？
通过使用多尺度滤波器的三级结构，结合FlowNet2，从稀疏激光雷达数据中推断高分辨率的2D流。
DeepFusion架构的主要优势是什么？
DeepFusion架构提升了自动驾驶中的3D检测性能，并展现了对数据偏移的鲁棒性。
HRFuser架构的功能是什么？
HRFuser是一种多分辨率传感器融合架构，能够有效融合不同传感器的信息，提高2D检测性能。
在Kitti数据集上，该方法的表现如何？
在Kitti数据集上，该方法表现出与基于图像的方法相当的效果，尽管使用低分辨率和稀疏的激光雷达测量。
该研究如何处理恶劣天气下的自动驾驶问题？
该研究通过稀疏激光雷达数据估计密集光流，提供了在恶劣天气或夜间情况下的替代方案。
多模态融合技术在自动驾驶中的重要性是什么？
多模态融合技术对于实现准确可靠的三维物体检测至关重要，能够结合不同传感器的信息。
