MambaOcc：基于BEV的占用预测视觉状态空间模型及局部自适应重排序
内容提要
本文介绍了在3D占用预测挑战中获胜的解决方案，基于FB-BEV进行优化，取得了nuScenes数据集的最佳mIoU得分。提出了FlashOCC和SparseOcc等新方法，提升了占用预测的精度和效率。同时，综述了基于视觉的3D占用状态预测的背景与挑战，并展示了新模型OccMamba在多个基准测试中的优越表现。
延伸解读
技术演进：从BEV到状态空间模型
文章梳理了3D占用预测的技术发展脉络：从2023年利用2D标签训练多视图模型降低标注依赖，到FlashOCC、FastOcc等提升效率的框架，再到2024年SparseOcc通过稀疏处理大幅减少计算量，以及OccMamba引入状态空间模型。这一演进显示研究重点从精度提升逐步转向效率优化，并探索新架构如Mamba在占用预测中的潜力。
效率突破：稀疏与轻量化的平衡
在自动驾驶实时性要求下，效率成为关键。FastOcc用2D BEV卷积替代3D卷积加速推理，SparseOcc通过稀疏潜在表示减少74.9%的FLOP并提升精度，而地理语义双分支网络在Occ3D-nuScenes上达到20.0 FPS，比CVPR2023冠军快3倍且mIoU高1.9。这些工作表明，通过架构创新可以在不牺牲精度的情况下显著提升效率。
性能标杆：nuScenes与Occ3D基准
文章多次提及nuScenes和Occ3D-nuScenes基准上的性能表现。基于FB-BV的方案在nuScenes挑战中获得最先进mIoU并排名第一；地理语义双分支网络在Occ3D-nuScenes上取得39.4 mIoU和20.0 FPS；OccMamba在OpenOccupancy数据集上超越之前最佳模型。这些结果提供了可比较的量化指标，帮助读者评估不同方法的优劣。
未来方向：生成式与状态空间模型
文章介绍了OccGen生成感知模型和OccMamba状态空间模型，代表了占用预测的新探索。OccGen通过去噪逐步优化占用图像，OccMamba利用3D到1D重排提升性能。这些方法突破了传统判别式模型的局限，但文章未详细讨论其计算开销和实时性，读者需关注后续研究在效率与精度间的进一步平衡。
Q&A
OccMamba模型的主要优势是什么？
OccMamba模型通过3D到1D的重排操作显著提升了占用预测性能，并在多个基准测试中取得了最先进的结果。
FlashOCC框架是如何提高占用预测效率的？
FlashOCC是一种插拔式预测框架，通过在BEV中保留特征并引入通道到高度的转换，实现了高精度和内存高效的占据预测。
SparseOcc的创新点有哪些？
SparseOcc利用稀疏点云处理的创新，包括空间分解的3D稀疏卷积核、特征金字塔和稀疏插值，以及改造的稀疏Transformer头。
FastOcc是如何加快模型推理速度的？
FastOcc通过用轻量级的2D BEV卷积网络替代时间消耗较大的3D卷积网络，加快了模型的推理速度，同时保持准确性。
在nuScenes数据集上，哪个模型获得了最佳mIoU得分？
基于FB-BEV的解决方案在nuScenes数据集上获得了最先进的mIoU得分，排名第一。
OccGen模型的主要功能是什么？
OccGen是一种生成感知模型，通过优化占用图像来提升性能，逐步推断并消除噪音。
