EmbodiedMAE：统一的3D多模态表示用于机器人操控
本研究针对现有机器人操控方法中训练数据集与实际任务之间的显著领域差距以及缺乏有效整合3D信息的模型架构的问题，提出了一种新的多模态掩码自编码器EmbodiedMAE。该模型通过随机掩盖和跨模态融合学习RGB、深度和点云表示，训练在增强的DROID-3D数据集上，实验结果显示其在70个仿真任务和20个现实世界机器人操控任务中均优于其他最先进的视觉基础模型，证明其在精确的桌面操控方面具有显著的应用潜力。
本研究提出了一种新型多模态掩码自编码器EmbodiedMAE，旨在缩小机器人操控中训练数据与实际任务之间的领域差距。该模型通过学习RGB、深度和点云表示，在DROID-3D数据集上进行训练，实验结果显示其在70个仿真任务和20个现实任务中表现优异，展现出良好的桌面操控应用潜力。
