基于梯度的目标定位方式实现可解释的激光雷达点云语义分割
内容提要
该文综述了多项基于深度学习的3D点云语义与全景分割研究，包括SEG-GRAD-CAM可解释性方法、显著性引导的激光雷达里程计、超点图卷积网络、LiDAR-相机融合全景分割、GNN点云配准、稀疏跨尺度注意力网络、GP-S3Net、CG-fusion CAM弱监督分割及CPSeg实时全景分割网络，多数在SemanticKITTI、nuScenes等数据集上取得领先性能。
延伸解读
可解释性方法的意义
SEG-GRAD-CAM 将 Grad-CAM 扩展到语义分割，为每个像素生成相关性热图。这有助于理解模型决策依据，尤其在自动驾驶等安全关键领域，可解释性对验证模型可靠性、发现潜在偏差至关重要。该方法为点云分割模型的黑箱问题提供了可视化分析工具。
多模态融合与全景分割进展
文章提及 LCPS 和 GP-S3Net 等激光雷达-相机融合或基于图卷积的全景分割网络，在 nuScenes 等数据集上提升 PQ 性能。这些工作表明，融合多传感器信息与图结构建模能有效提升全景分割精度，是当前研究的重要方向。
实时性与弱监督的平衡
CPSeg 实现实时全景分割，CG-fusion CAM 探索弱监督分割，两者分别从效率和标注成本角度推动技术落地。实时性满足自动驾驶需求，弱监督降低标注负担，但弱监督性能仍与全监督有差距，实际部署需权衡精度与成本。
Q&A
SEG-GRAD-CAM 是什么？它有什么作用？
SEG-GRAD-CAM 是一种基于梯度的方法，扩展了 Grad-CAM，用于解释语义分割中每个像素的相关性。
有哪些方法可以提升激光雷达里程计的性能？
一种基于显著性引导的方法，通过利用注意力信息来改善激光雷达里程计估计和语义分割模型的性能，并通过从彩色图像到点云的显著性知识转移，构建伪显著性数据集，提出显著性引导的三维语义分割模型和基于自我监督的显著性引导激光雷达里程计网络。
超点图卷积网络在点云语义分割中有什么应用？
该研究提出了一种基于深度学习的新框架，用于解决数百万点的大规模点云的语义分割挑战。该框架使用超级点图和图卷积网络等技术，取得了室内和户外 LiDAR 扫描分割方面的新成果。
激光雷达-相机融合全景分割网络 LCPS 的性能如何？
LCPS 是第一个激光雷达-相机全景分割网络，通过三阶段的激光雷达-相机融合策略，在 NuScenes 数据集上改进了约 6.9% 的 PQ 性能。
基于 GNN 的点云配准方法有什么特点？
该方法利用语义和局部几何形状来指导可靠点云注册候选项的识别，语义和形态特征作为注册的关键参考点，实现精确的激光雷达姿态估计。轻量级静态图结构通过识别语义实例关系，显著减少了点云注册的计算负担。通过连接候选节点和利用跨图的关注机制，为所有潜在的注册对应关系计算置信度得分，估计点云扫描之间的位移。在 KITTI 测距数据集上测试，相较于基准方法，实现了竞争性的准确度和更高的轨迹平滑度，同时依赖显著更少的网络参数。
稀疏跨尺度注意力网络在 3D LiDAR 全景分割中取得了什么成果？
通过稀疏跨尺度注意力网络，结合全局体素编码注意力捕捉实例上下文的长距离关系，以提高过分割大型对象的回归精度，并采用实例中心的稀疏无类表示来处理面积聚合点，实现稀疏卷积以减少网络计算量。在 SemanticKITTI 数据集上，该方法在 3D LiDAR 全景分割任务中取得了很大进展，以实时推理速度获得了第一名。
GP-S3Net 是什么？它在哪些数据集上表现优异？
GP-S3Net 是一种高效的基于 LiDAR 的全景分割框架，通过构建图卷积网络以识别物体并将其与背景类融合，利用实例标签为构造的每个图生成地面真实边缘标签来监督学习。在 nuScenes 和 SemanticPOSS 等数据集上实验表明 GP-S3Net 优于现有最先进的方法，在公共 SemanticKITTI 排行榜上排名第一。
弱监督语义分割方法 CG-fusion CAM 是如何工作的？
该方法基于连续梯度 CAM 及其非线性多尺度融合 (CG-fusion CAM)，通过重新设计梯度的反向传播方式和非线性激活多尺度融合热图，生成了更精细的类激活图，适合不同大小的损伤区域，实验结果表明所提出的方法的分割性能可与全监督算法相媲美。
CPSeg 网络的结构和性能如何？
CPSeg 是一种新型实时端到端全景分割网络，采用共享编码器、双解码器和无聚类实例分割头，以动态支柱化前景点，通过学习嵌入来获得实例标签，并通过成对嵌入比较找到连接柱来转化传统的基于提案或聚类的实例分割为二元分割问题。在 SemanticKITTI 和 nuScenes 两个大规模自动驾驶数据集上进行了基准测试，结果表明 CPSeg 在两个数据集上都达到了实时方法的最先进水平。
