UC San Diego的三大机器人:AnyTeleop、Open-TeleVision、Bunny-VisionPro——从RGB相机到VR远程控制机器人
原文中文,约6700字,阅读约需16分钟。发表于: 。这篇论文的链接,我当时快速看了一遍,还是有价值的一个工作(其应该有受humanplus工作的其他),一直想做下解读来着,无奈过去一周一直在弄mamba2的解读,所以没来得及弄。码器捕捉图像和本体感觉标记的关系,Transformer解码器输出特定块大小的动作序列。手腕的姿态流式传输到服务器。服务器将人类姿态重新定向到机器人,并将关节位置目标。如下图所示,便是TeleVision的远程操作数据...
Open-TeleVision是一种远程操作系统,结合了VR技术和机器人手控制,通过捕捉手部姿势实现操作。系统展示了在不同场景下的操作能力。