移动 ALOHA: 使用低成本全身远程操作学习双臂移动操纵
内容提要
该文汇总多项机器人操作研究,涵盖多模态远程操作、双臂联结任务强化学习、在线抓取姿势融合的移动操作、大型铰接物体自主交互的两阶段架构、MOMA-Force操纵方法、低成本端到端模仿学习精细操作、导航与操作协调、双臂多指手系统、混合强化学习与可达性先验加速学习,以及Causal MoMa因果策略学习框架。
延伸解读
低成本全身远程操作的技术路径
文章介绍的移动ALOHA系统采用基于视觉的手部姿态回归网络Transteleop和IMU臂部追踪,使用低成本深度摄像头观察人手,并通过图像到图像转换生成配对机器人手部姿势的深度图像。可穿戴相机支架支持同时手-臂控制,关键点重建损失利用人类与机器人手在外观和解剖上的相似性,丰富了重建图像的局部特征。网络评价和复杂操作实验表明了系统的效率和稳定性。
双臂联结任务中的强化学习实践
一项研究使用两个xArm6机器人设计基于磁力连接的联结任务,通过模拟训练将未经过滤的观察信息直接传递给神经网络,并保证仿真环境与实际情况一致。验证结果显示,成功拾取方块和完成连结任务的成功率分别达到100%和65%。这表明强化学习在双臂协调任务中具有可行性,但联结任务的成功率仍有提升空间。
移动操作中的抓取姿势融合与规划
文章提到一种基于在线抓取姿势融合的可抓取性感知移动操作方法,在接近目标并抓取时通过在线整理抓取姿势,消除冗余和异常值,并将其编码为抓取姿势观察状态用于强化学习。实时融合抓取姿势可直接评估抓握可行性,包括抓握姿势的数量和质量。此外,针对大型铰接物体的自主交互,有研究提出两阶段架构,分别以物体和智能代理为中心进行规划,并在移动障碍物下通过优化控制确保安全跟踪。
从仿真到现实的多种学习框架
文章汇总了多个学习框架:MOMA-Force用于移动操纵器在接触丰富任务中的高效稳健操纵;低成本端到端模仿学习系统直接从真实演示中学习精细操作;混合强化学习与机器人可达性先验加速移动操作系统的学习;Causal MoMa采用因果策略学习自动发现行为间的因果依赖,并在仿真和真实机器人上取得成功。此外,还有研究通过多智能体强化学习训练双臂多指手系统,并进行Sim2Real转移,在高速操作和精确协作中表现出改进。
Q&A
移动ALOHA系统用了哪些技术来实现低成本全身远程操作?
移动ALOHA系统采用了基于视觉的手部姿态回归网络Transteleop和基于IMU的臂部追踪方法,使用低成本深度摄像头观察人手,并通过图像到图像的转换生成配对机器人手部姿势的深度图像,同时具备可穿戴相机支架实现手-臂同时控制。
Transteleop网络在移动ALOHA中起什么作用?
Transteleop是一个基于视觉的手部姿态回归网络,它使用低成本深度摄像头观察人手,通过图像到图像的转换过程生成配对机器人手部姿势的深度图像,并利用关键点重建损失探索人类和机器人手之间在外观和解剖上的相似之处,丰富重建图像的局部特征。
移动ALOHA系统在复杂操作任务中的表现如何?
网络评价结果和各种复杂操作的操作都表明了该系统的效率和稳定性。
移动ALOHA如何实现同时手-臂控制?
通过可穿戴相机支架实现同时手-臂控制,结合基于视觉的手部姿态回归网络和基于IMU的臂部追踪方法,使用低成本深度摄像头观察人手,并生成配对机器人手部姿势的深度图像。
移动ALOHA系统为什么被认为是低成本的?
因为它使用了低成本深度摄像头来观察人手,并且整体系统设计基于低成本硬件,实现了全身远程操作。
移动ALOHA中的关键点重建损失有什么作用?
关键点重建损失探索了人类和机器人手之间在外观和解剖上的相似之处,并丰富了重建图像的局部特征,有助于生成更准确的机器人手部姿势深度图像。