VQA-Diff：自动驾驶中基于零样本图像到 3D 车辆资源生成的 VQA 和扩散算法利用

本文介绍了一种多模态自动标注流程，可以生成用于训练开放式类别的无标注3D边界框和轨迹，从而处理自动驾驶等安全关键应用中可能在部署后遇到的新物体类型。相比于当前领域的最新研究，我们的方法可以以无监督的方式处理静态和移动的对象，并通过提出的视觉-语言知识蒸馏方法输出开放式词汇的语义标签。基于Waymo开放数据集的实验证明，我们的方法在各种无监督3D感知任务上显著优于先前的工作。