使用可微分的多模态学习进行 3D 物体定位

本文介绍了一种多模态方法，使用模拟的激光雷达数据和图像像素损失与可微分渲染相结合，优化物体在计算机图形场景中的位置。通过梯度下降完成物体位置优化，本文表明使用激光雷达可以更快地收敛。这种方法对于自动驾驶车辆具有潜在的有用性，可以用于确定场景中多个参与者的位置。同时，本文还提出了一种用于培训自动驾驶车辆的多种类型数据的模拟方法。