MIM4D：多视角视频遮蔽建模的自动驾驶表示学习
内容提要
本文介绍了多种视觉转换器和预训练策略在三维检测和医学图像分析中的应用，包括GeoMIM、M$^{3}$3D和MIM。研究表明，遮蔽图像建模技术能提高学习效率和精度，MIM方法在不同任务中表现优异。此外，提出的多模态训练方案4M和Mask3D方法也展示了在视觉基础模型和场景理解任务中的潜力。
延伸解读
多模态预训练在自动驾驶感知中的融合趋势
文章汇总的GeoMIM、M$^{3}$3D、4M和Mask3D等方法，反映出自动驾驶表示学习正从单一视觉模态转向多模态融合。GeoMIM利用LiDAR BEV知识指导多相机检测，M$^{3}$3D通过遮蔽自编码器强化颜色-深度对应，4M则统一文本、图像、几何和语义模态。这种趋势表明，跨模态先验的注入能提升三维检测等下游任务的性能，但各方法的具体融合机制和适用场景仍有差异。
遮蔽图像建模在三维任务中的效率优势
文章指出，遮蔽图像建模（MIM）在医学三维图像分析中相比对比学习能更快进行监督学习并达到更高精度，且在不同图像分辨率和标签数据比例下均表现良好。MIMIC数据集通过挖掘多视图图像对训练自监督模型，在深度估计和语义分割上优于基于注释的预训练。这些结果提示，MIM的高遮蔽率和轻量解码器设计有助于降低训练成本，为三维感知任务提供了一种高效的自监督预训练路径。
预训练策略对下游任务泛化能力的影响
文章比较了MIM与监督式预训练的表现，发现MIM能在所有训练模型层上引入位置归纳偏差并保持多样性，从而在弱语义或细粒度分类任务中表现出色。同时，将MIM集成到现有监督训练中，通过添加浅层Transformer解码器，可改善分类、图像检索和语义分割等下游任务。这表明预训练策略的选择直接影响模型泛化能力，而MIM的层间多样性可能弥补监督预训练在细粒度任务上的不足。
Q&A
GeoMIM 是什么，它的主要应用是什么？
GeoMIM 是一种多相机视觉转换器，主要用于改善多视图基于相机的三维检测，在 nuscenes 基准测试中取得了最新表现。
M$^{3}$3D 的预训练策略有什么特点？
M$^{3}$3D 利用多模态遮蔽自编码器，增强颜色与深度数据之间的对应关系，从而提高各种下游任务的性能。
遮蔽图像建模技术在医学图像分析中的优势是什么？
遮蔽图像建模技术在医学三维图像分析中能更快进行监督学习，并达到更高的精度，相比对比学习方法表现更优。
MIMIC 数据集如何提升自监督模型的表现？
MIMIC 数据集通过挖掘多视图图像对来训练自监督模型，提升了深度估计和语义分割等任务的表现。
4M 多模态训练方案的主要优势是什么？
4M 多模态训练方案将多种输入/输出模态统一到一个 Transformer 模型中，展示了在训练视觉基础模型方面的潜力。
Mask3D 预训练方法的创新之处在哪里？
Mask3D 预训练方法将大规模 RGB-D 数据应用于自监督预训练，嵌入 3D 先验到 2D 学习特征中，改善多个场景理解任务。
