3D-MVP：用于机器人操纵的三维多视角预训练
原文中文，约1700字，阅读约需4分钟。
📝
内容提要
本文探讨了自监督学习在机器人视觉预训练中的应用，提出了Mask3D和M$^{3}$3D等方法，通过多视角视频和动态加权重构损失，提升模型对3D结构的理解，从而改善动作识别等任务的表现。
🔎
延伸解读
多视角自监督学习如何提升机器人视觉
文章指出，从同步多视角视频中自监督学习能帮助模型感知3D结构。通过交叉视角重构任务，模型学习对视角变化鲁棒的表示。动态加权重构损失进一步改进时间建模，在NTU-60等数据集上达到最先进结果，并在迁移学习设置中验证了鲁棒性。
3D先验与多模态预训练的实际效果
Mask3D将3D先验嵌入2D特征，改善了语义分割等场景理解任务。M$^{3}$3D利用多模态遮蔽自编码器增强颜色-深度对应，提升下游任务性能。这些方法表明，融合3D信息能有效提高机器人视觉预训练的泛化能力。
高效机器人操作与技能获取的进展
RVT基于多视角变形器，训练速度快36倍，推理速度快2.3倍，且每任务仅需约10次演示。T3VIP通过场景分解和刚性变换预测，支持自主技能获取，是首个固定摄像头RGB-D视频预测生成模型。这些工作展示了预训练在真实机器人任务中的潜力。
❓
Q&A
Mask3D方法如何改善机器人视觉预训练？
Mask3D方法通过将3D先验嵌入到2D学习特征中，改善了语义分割等场景理解任务的表现。
M$^{3}$3D方法的主要特点是什么？
M$^{3}$3D方法利用多模态遮蔽自编码器，增强颜色-深度数据之间的对应关系，提高了下游任务的性能。
如何通过多视角视频进行自监督学习？
通过交叉视角重构任务向模型注入几何信息，从而提升模型的鲁棒性。
RVT方法在三维物体操作中的优势是什么？
RVT方法训练速度快36倍，推理速度快2.3倍，且仅需约10次演示即可达到良好效果。
T3VIP方法如何支持机器人的自主技能获取？
T3VIP方法通过场景分解和刚性变换预测，模拟3D运动并预测未来结果，支持自主技能获取。
Multimodality-guided Visual Pre-training (MVP)方法的效果如何？
MVP方法在一系列下游视觉识别任务中取得了显著优越的效果，取代了传统的tokenizer。
🏷️
