OccFeat: 自监束栅格特征预测用于预训练 BEV 分割网络
内容提要
本文介绍了多视图图像在自动驾驶中的应用，提出了FastOcc、SelfOcc和CoBEVT等新方法，以提高3D场景占用预测的准确性和效率。这些方法通过自监督学习和轻量级网络设计，显著提升了模型性能，尤其在SemanticKITTI和nuScenes数据集上取得了先进的结果。
延伸解读
自监督与半监督：降低标注依赖的路径
文章介绍了SelfOcc和半监督BEV语义分割框架，两者都旨在减少对人工标注的依赖。SelfOcc利用视频序列自监督学习3D占用，在SemanticKITTI和Occ3D上性能显著提升；半监督框架则通过未标记图像和一致性损失提高BEV分割性能。这些方法表明，利用无标签数据是提升BEV感知模型泛化能力的有效方向。
效率优化：从3D卷积到轻量2D BEV网络
FastOcc通过用轻量级2D BEV卷积网络替代耗时的3D卷积网络，在保持准确性的同时加快推理速度。这一设计针对自动驾驶对实时性的高要求，为BEV分割网络的部署提供了实用思路。类似地，CoBEVT也实现了实时推理，说明效率与性能的平衡是当前研究的重要考量。
多代理协同感知的扩展性
CoBEVT作为一个多代理多摄像头感知框架，在V2V数据集OPV2V上实现了合作BEV语义分割的最先进性能，并可扩展至单代理多摄像头分割和多代理LiDAR检测等任务。这显示了协同感知在提升自动驾驶安全性和覆盖范围方面的潜力，也为多车协作场景提供了技术基础。
基准模型与挑战赛的推动作用
文章提到occTransformer基于BEVFormer改进，并在CVPR 2023挑战中取得成果；FB-BEV在nuScenes数据集上获得最先进mIoU得分。这些工作表明，基于强大基准模型的优化和挑战赛的推动，能够加速3D占用预测技术的迭代与性能提升。
Q&A
FastOcc方法的主要优势是什么？
FastOcc方法通过用轻量级的2D BEV卷积网络替代3D卷积网络，加快推理速度并保持准确性。
SelfOcc如何提高3D占用预测的性能？
SelfOcc通过自监督学习使用视频序列学习3D占用情况，显著提高了在多个数据集上的性能。
CoBEVT框架的应用场景有哪些？
CoBEVT框架可用于合作BEV语义分割、单代理多摄像头的BEV分割和多代理LiDAR系统的3D对象检测。
在3D占用预测挑战中，哪个方案获得了最先进的mIoU得分？
在3D占用预测挑战中，基于FB-BEV的方案获得了nuScenes数据集上最先进的mIoU得分。
如何通过未标记图像提高视觉BEV语义分割性能？
通过新颖的半监督框架，利用未标记图像和一致性损失约束模型来提高视觉BEV语义分割性能。
occTransformer的主要贡献是什么？
occTransformer基于BEVFormer模型，通过简单有效的技术提高了3D占据预测的性能。
