使用可微分的多模态学习进行 3D 物体定位
原文中文,约400字,阅读约需1分钟。发表于: 。本文描述了一种多模态方法,使用模拟的激光雷达数据,通过光线追踪和图像像素损失与可微分渲染相结合,优化物体在计算机图形场景中相对于观察者或某些参考对象的位置。通过梯度下降完成物体位置优化,损失函数受两种模态影响。将图像像素损失与可微分渲染结合的传统物体放置优化方法相比,本文表明使用第二种模态(激光雷达)可以更快地收敛。将传感器输入融合的这种方法对于自动驾驶车辆具有潜在的有用性,因为这些方法可以...
本文介绍了一种多模态方法,使用模拟的激光雷达数据和图像像素损失与可微分渲染相结合,优化物体在计算机图形场景中的位置。通过梯度下降完成物体位置优化,本文表明使用激光雷达可以更快地收敛。这种方法对于自动驾驶车辆具有潜在的有用性,可以用于确定场景中多个参与者的位置。同时,本文还提出了一种用于培训自动驾驶车辆的多种类型数据的模拟方法。