主动学习框架用于多模态三维物体检测
内容提要
该文综述主动学习在三维目标检测与点云分割中的应用，提出基于Crb框架、信息熵查询、不确定度度量及半监督等方法，筛选高信息量样本以降低标注成本、缓解类别不平衡，并在nuScenes、KITTI等数据集上验证有效。
延伸解读
主动学习如何降低3D标注成本
三维点云标注成本高昂，主动学习通过筛选信息量最大的样本进行标注来缓解这一问题。文章提到，基于RGB图像生成的2D区域提案可以减少目标搜索空间，从而节省多达60%的标注工作量，同时达到相同网络性能。此外，分层点云主动学习策略在仅使用0.07%和0.1%训练数据时，分别达到完全监督基线96.5%和100%的性能，显著降低了标注需求。
信息熵查询在类别不平衡中的优势
自动驾驶数据集中类别不平衡问题突出，信息熵查询能有效选择信息丰富的样本。在nuScenes数据集上使用BEVFusion模型的实验表明，信息熵查询在大多数情况下优于随机抽样，特别在减少多数类和少数类之间的性能差距方面表现突出。类别特定分析还揭示了在有限数据预算下，应优先选择多样性和信息丰富的数据进行标注，以优化资源配置。
多模态与半监督融合的新趋势
半监督主动学习框架结合激光雷达和单目图像，利用激光雷达指导单目3D检测器的数据选择和训练，且不增加推理开销。在KITTI和Waymo数据集上，该框架在标签成本上节约高达17%，并将BEV平均精度提高2.02。这种多模态融合方法通过跨模态蒸馏处理伪标签噪声，为资源受限环境提供了高效解决方案。
Q&A
主动学习在三维目标检测中主要解决什么问题？
主动学习在三维目标检测中主要解决数据不平衡、冗余和高维数据的挑战，通过筛选信息量最高的未标注点云数据，降低标注成本并提高模型性能。
基于Crb框架的主动学习方法使用了哪些标准来筛选样本？
基于Crb框架的主动学习方法使用三个标准：标签简洁性、特征代表性和几何平衡，来筛选信息量最高的未标注点云数据。
信息熵查询在主动学习中的效果如何？
信息熵查询在大多数案例中表现优异，能有效降低注释成本和提高模型性能，特别在减少多数类和少数类之间的性能差距方面有效。
半监督主动学习框架如何用于单目3D物体检测？
半监督主动学习框架利用激光雷达指导单目3D检测器的数据选择和训练，采用激光雷达教师-单目学生交叉模态框架，从无标记数据中蒸馏信息作为伪标签，处理传播噪声，并在推理阶段不引入开销。
主动学习在点云分割中如何降低标注成本？
通过基于超点的样本选择，比点级和实例级选择更有效，并利用本地一致性约束提高性能，在有限预算下显著降低标注成本。
主动学习在自动驾驶数据集中有哪些实验验证？
在nuScenes数据集上使用BEVFusion模型，信息熵查询优于随机抽样；在KITTI和Waymo数据集上，半监督主动学习框架节省高达17%的标签成本，并在KITTI 3D和BEV单目物体检测基准中取得最佳成绩。
