OMEGA：基于状态空间模型的空地机器人在动态环境中的高效遮挡感知导航
内容提要
本文介绍了一种基于CNN和CRF模型的三维实时地图生成系统，提升了图像语义建模的准确性。研究了多种3D占据预测方法，如OccupancyDETR和OccWorld，展示了其在复杂环境中自主车辆导航的有效性。此外，提出的OccMamba模型显著提高了占用预测性能。
延伸解读
从语义分割到3D占据预测的技术演进
文章梳理了从2017年基于CNN和CRF的语义分割，到2023年CTF-Occ、OccupancyDETR等3D占据预测方法的发展脉络。这一演进反映了自动驾驶感知从二维图像理解向三维场景细粒度建模的转变，其中占据预测能同时估计几何与语义信息，为复杂环境导航提供更丰富的场景表示。
动态环境中遮挡感知的专门化方案
针对动态环境中的遮挡问题，Scene Informer提出统一方法，同时预测可见代理轨迹并推断遮挡物。该框架通过聚合多模态输入，对可能与自车路径相交的遮挡物进行选择性查询，估计其占用概率和可能轨迹。在Waymo Open Motion数据集的部分可观测设置中，该方法在占用和轨迹预测上均优于现有方法。
世界模型与自监督学习的兴起
OccWorld和4D占据场世界模型代表了利用自监督学习理解场景演变的新方向。OccWorld在3D占据空间中同时预测自车运动和周围场景演变，无需实例和地图监督；4D世界模型则从LiDAR数据学习连续时空占据场，在标注数据稀缺时仍能实现最先进的点云预测和BEV语义占据预测，且对自动驾驶相关类别的召回率更高。
OccMamba与开放词汇感知的突破
OccMamba受Mamba架构启发，通过3D到1D重排操作提升占用预测性能，在OpenOccupancy数据集上超越之前最佳模型。同时，VEON结合2D基础模型MiDaS和CLIP，实现开放词汇语义占用预测，在Occ3D-nuScenes上达到15.14 mIoU，并能识别开放词汇类别，展示了基础模型在3D感知中的潜力。
Q&A
什么是基于CNN和CRF模型的三维实时地图生成系统？
这是一个用于精确和大规模图像语义建模的系统，能够提升分割准确率。
OccMamba模型的主要优势是什么？
OccMamba模型通过3D到1D的重排操作显著提升了占用预测性能，尤其在OpenOccupancy数据集上表现优异。
OccupancyDETR模型的特点是什么？
OccupancyDETR结合了目标检测模块和3D占有率解码器，提高了速度和性能，适用于实时3D语义场景。
在复杂环境中，自主车辆导航需要考虑哪些因素？
自主车辆导航需要考虑可见和遮挡区域，以确保安全和有效的路径规划。
OccWorld模型的创新之处在哪里？
OccWorld模型在无需实例和地图监督的情况下，有效建模驾驶场景的演变，提升了场景理解能力。
VEON方法如何提高三维占用的精度？
VEON通过将预测的三维占用网格与开放世界语义相结合，解决了深度模糊问题和优化长尾问题。
