OccTransformer:改进 BEVFormer 以用于 3D 仅相机空间占用预测

💡 原文中文,约400字,阅读约需1分钟。
📝

内容提要

本文介绍了一种内存高效的方法SOccDPT,用于从单目图像中进行3D语义占用预测。通过无结构数据集训练,解决了现有方法在结构化交通数据集训练时的局限性。通过半监督训练流程,减少手动标注的要求,使用伪基准真实标签代替,产生了班加罗尔语义占用数据集。引入分块训练,减少了自动图构建过程中的内存使用。在无结构交通和内存受限的环境中,SOccDPT表现更好,RMSE分数为9.1473,语义分割IoU得分为46.02%,竞争频率为69.47 Hz。

🎯

关键要点

  • 提出了一种内存高效的方法SOccDPT,用于从单目图像进行3D语义占用预测。

  • 通过无结构数据集训练,解决了现有方法在结构化交通数据集训练的局限性。

  • 采用半监督训练流程,减少手动标注需求,使用伪基准真实标签,生成班加罗尔语义占用数据集。

  • 引入分块训练,减少自动图构建过程中的内存使用。

  • 在无结构交通和内存受限环境中,SOccDPT表现优异,RMSE分数为9.1473,语义分割IoU得分为46.02%,竞争频率为69.47 Hz。

  • 公开了代码和语义占用数据集。

➡️

继续阅读