点云模型提升机器学习机器人的视觉鲁棒性
原文约300字/词,阅读约需1分钟。发表于: 。通过对 RGB-D 和基于点云的视觉控制策略进行实验,我们发现明确编码点云的策略在可视条件变化下显著更加稳健,同时我们提出的点云世界模型(PCWM)在训练过程中大幅提升样本效率,这些结果表明通过点云对三维场景进行推理可以改善性能、缩短学习时间并提高机器学习算法的稳健性。
本文介绍了PolarNet策略,使用3D点云进行语言引导的操纵任务。PolarNet通过点云输入、编码器和多模态变换器学习3D点云表示,并与语言指令集成以进行行动预测。在RLBench基准测试中,PolarNet在单任务和多任务学习中优于最先进的2D和3D方法,表现出高效和数据高效性。实际机器人上也取得了令人期待的结果。