MIM4D:多视角视频遮蔽建模的自动驾驶表示学习
原文中文,约300字,阅读约需1分钟。发表于: 。从大规模多视角视频数据中学习强大且可扩展的视觉表征仍然是计算机视觉和自动驾驶领域的一项挑战。我们提出了 MIM4D,一种基于双重遮罩图像建模(MIM)的新的预训练范例,它通过训练遮罩的多视角视频输入来利用空间和时间关系,从而构建伪 3D 特征并进行监督学习,以解决缺乏密集 3D 监测的问题。通过采用 3D 体积可微分渲染来学习几何表征,MIM4D...
该文章介绍了MIM4D,一种新的预训练范例,通过训练遮罩的多视角视频输入来构建伪3D特征并进行监督学习,解决了计算机视觉和自动驾驶领域中缺乏密集3D监测的问题。MIM4D在自动驾驶中的可视表征学习任务中取得了最先进的性能,提高了多个下游任务的表现。