基于 CUDA 的稀疏卷积在 GPU 上的三维点云优化
内容提要
该文综述了基于深度学习的3D点云语义分割与对象识别方法，包括PointConv点卷积、TorchSparse稀疏卷积引擎、PointCNN、密度感知卷积及柱状分区非对称3D卷积网络。这些方法利用点云稀疏性提升效率，在KITTI、SemanticKITTI、nuScenes等基准上取得领先性能，并扩展至2D分割任务。
延伸解读
稀疏卷积引擎的优化重点
文章提到TorchSparse通过自适应矩阵乘法分组和集成向量化、量化及融合的本地化优化存储访问技术，实现了1.4-1.5倍的速度提升和2.7倍的内存移动代价降低。这表明在GPU上处理稀疏点云时，优化内存访问模式与计算分组策略是提升效率的关键方向，而非单纯增加算力。
方法演进与基准表现
从2015年的三角晶格CNN到2023年的密度感知卷积，点云处理方法在KITTI、SemanticKITTI、nuScenes等基准上不断刷新性能。例如，柱状分区非对称3D卷积网络在SemanticKITTI和nuScenes上排名第一并提升约4%，PointCNN在雷达点云语义分割上超过PointNet++。这些进展显示稀疏性利用和几何模式探索是持续优化的主线。
跨任务泛化能力
文章指出，基于3D卷积网络的框架在LiDAR语义分割、全景分割和3D检测任务中均表现出最先进性能，并具有良好的泛化性。此外，一维全卷积网络方法可轻松扩展到2D语义分割任务。这说明针对3D点云设计的稀疏卷积和上下文编码机制，其思路可能对更广泛的视觉任务具有参考价值。
Q&A
PointConv 是什么？它如何处理 3D 点云？
PointConv 是一种可用于处理 3D 点云的新型卷积操作，能够建立深度卷积神经网络。它通过创建非线性函数权重和密度函数，在点云的每个点上应用卷积，从而处理点云的不规则性和排列变化性。实验表明，PointConv 在语义分割基准测试中表现优异，并在 2D 图像结构相似情况下提供类似于卷积网络的性能。
TorchSparse 是什么？它有哪些性能优势？
TorchSparse 是一种高效的基于 GPU 加速的稀疏卷积计算引擎，应用于 AR/VR、自动驾驶等领域。它采用自适应矩阵乘法分组技术，并集成向量化、量化及融合的本地化优化存储访问技术，实现了 1.4-1.5 倍的速度提升和 2.7 倍的内存移动代价降低。相比 MinkowskiEngine 和 SpConv，分别实现了 1.6 倍和 1.5 倍的整体加速效果。
PointCNN 在雷达点云语义分割中有什么优势？
PointCNN 是一种基于深度学习的方法，通过将点云处理为无序数据格式，对雷达点云进行语义分割。其性能超过了基于 PointNet++ 的现有方法，有效解决了卷积在雷达点云上的不规则性和排列变化性挑战。
有哪些方法在 SemanticKITTI 和 nuScenes 数据集上取得了领先性能？
圆柱形分区和不对称 3D 卷积网络框架在 SemanticKITTI 和 nuScenes 数据集上超过现有方法，排名第一，较现有方法提高了约 4%。此外，利用 3D 卷积网络进行 LiDAR 语义分割、全景分割和 3D 检测的新框架，采用柱状分割和非对称 3D 卷积网络，在 SemanticKITTI、nuScenes 和 A2D2 上均表现出最先进的性能。
密度感知卷积和上下文编码在多尺度全卷积神经网络中如何用于 3D 点云分类？
该方法提出了一种基于密度感知卷积和上下文编码的多尺度全卷积神经网络，用于 3D 点云分类。它在 ISPRS 3D 标注基准上实现了新的最优性能。
一维全卷积网络如何用于点云语义标记？它能否扩展到 2D 任务？
一维全卷积网络直接分析经过地形归一化后的点，并结合光谱数据以学习上下文特征，无需手动提取特征。在 ISPRS 3D 语义标注竞赛数据上获得了 81.6% 的准确率，F1 分数比最高准确率方法高 1.69%。此外，该方法可轻松扩展到 2D 语义分割任务。
