OccMamba:基于状态空间模型的语义占用预测
原文中文,约400字,阅读约需1分钟。发表于: 。本文解决了语义占用预测中深度学习模型训练面临的挑战,如占用单元数量庞大和视觉线索有限等问题。提出的OccMamba模型灵感来源于Mamba架构,通过3D到1D的重排操作显著提升了占用预测的性能,并在多个基准测试中取得了最先进的结果,尤其在OpenOccupancy数据集上超越了之前的最佳模型。
本文介绍了一种名为SOccDPT的内存高效方法,用于从单目图像中进行3D语义占用预测。通过对无结构数据集进行训练,解决了现有方法在结构化交通数据集上的局限性。采用半监督训练流程,减少了手动标注的要求,并使用伪基准真实标签代替。引入分块训练以克服内存限制,并提高了模型在处理无结构交通场景方面的能力。SOccDPT在无结构交通和内存受限的环境中表现更好,具有较低的RMSE分数和较高的语义分割IoU得分。