MsSVT++: 混合尺度稀疏体素变换与中心投票用于 3D 物体检测
内容提要
本文综述了多种基于体素与Transformer的3D感知方法：DSVT提出动态稀疏窗口注意力，可高效处理稀疏点云并支持实时推理；PVT-SSD结合稀疏卷积与点表示实现单级检测；SVT-Net以超轻量结构完成大尺度地点识别；MS²3D利用多尺度体素进行两阶段检测；VoTr采用Transformer骨干捕获大范围上下文；此外还包括用于深度估计的跨尺度变换器、用于视频对象分割的SST、减少信息丢失的体素与投影双分支检测器、作为定位分割基线的UViT，以及提升大场景计算效率的Fast Point Transformer。
延伸解读
稀疏体素与Transformer的融合趋势
文章列举的DSVT、VoTr、SVT-Net等方法均将Transformer用于稀疏体素表示，以弥补3D卷积难以捕获大范围上下文的不足。DSVT的动态稀疏窗口注意力根据稀疏性划分局部区域并行计算，VoTr则直接以Transformer骨干增强上下文建模。这反映出在室外3D感知中，稀疏体素与注意力的结合正成为提升性能的重要方向。
效率与轻量化的不同实现路径
多个工作从不同角度优化效率：DSVT通过TensorRT实现27Hz实时推理；SVT-Net以0.9M超轻量模型完成地点识别；Fast Point Transformer设计轻量自注意力层加速大场景处理；PVT-SSD利用稀疏卷积编码并设计Virtual Range Image模块快速查找邻近点。这些方案表明，实时性与轻量化可通过窗口划分、稀疏卷积、轻量注意力等多种途径实现。
多尺度与多表示融合的检测策略
MS²3D利用小体素提取细粒度局部特征、大体素捕捉长程特征，并通过多尺度语义特征点构建特征层；PVT-SSD结合体素稀疏卷积与点表示，兼顾长距离上下文和准确位置；双分支检测器融合体素与投影特征以减少信息丢失。这些方法共同说明，单一表示难以兼顾精度与效率，多尺度或多表示融合是提升3D检测性能的有效思路。
Q&A
DSVT 是如何高效处理稀疏点云并实现实时推理的？
DSVT 提出了动态稀疏窗口注意力，根据稀疏性将每个窗口中的局部区域划分，并以完全并行的方式计算所有区域的特征，从而高效处理稀疏点云，并可通过 TensorRT 实现 27Hz 的实时推理速度。
PVT-SSD 如何结合体素和点表示进行单级 3D 检测？
PVT-SSD 使用基于体素的稀疏卷积进行高效特征编码，并从体素中廉价地获取长距离上下文，同时从点中获取准确的位置信息，通过引入依赖于输入的查询初始化模块关联这两种表示，还设计了 Virtual Range Image 模块快速找到参考点的邻近点。
SVT-Net 在大尺度地点识别中有什么特点？
SVT-Net 是一个超轻量级网络（模型大小仅 0.9M），通过基于原子的稀疏体素转换器学习短程局部特征，基于聚类的稀疏体素转换器学习长程上下文特征，在速度和精度上均达到最先进水平。
MS²3D 如何利用多尺度体素提升 3D 检测性能？
MS²3D 是一个两阶段 3D 检测框架，利用小尺寸体素提取细粒度局部特征，大尺寸体素捕捉长程局部特征，通过多尺度语义特征点构建 3D 特征层并计算特征点与目标质心的偏移，以提高特征聚合效率，在 KITTI 和 ONCE 数据集上验证了有效性。
VoTr 相比纯体素 3D 卷积骨干有什么优势？
VoTr 是一种基于体素的 Transformer 骨干网络，通过引入 Transformer 架构解决了仅使用体素的 3D 卷积骨干不能有效捕获大范围上下文信息的问题，在 KITTI 和 Waymo 数据集上展现了良好性能。
Fast Point Transformer 如何提升大场景 3D 处理的计算效率？
Fast Point Transformer 提出了一种新型轻量级自我关注层，用于处理大型 3D 场景并提高计算效率，应用于 3D 语义分割和 3D 检测，具有与基于体素的最佳方法相竞争的准确性和比 Point Transformer 更快的推理时间。
