UC San Diego的三大机器人：AnyTeleop、Open-TeleVision、Bunny-VisionPro——从RGB相机到VR远程控制机器人
内容提要
Open-TeleVision是一种远程操作系统，结合了VR技术和机器人手控制，通过捕捉手部姿势实现操作。系统展示了在不同场景下的操作能力。
延伸解读
远程操作系统的现状与挑战
文章指出，大多数远程操作系统要求操作员和机器人在同一地点，无法进行远程控制，且每个机器人硬件需要与特定的远程操作硬件配对。此外，这些系统尚不能操作多指灵巧手，如Mobile Aloha和UMI都没有灵巧手，而DexCap才有。这些限制阻碍了远程操作在更广泛应用场景中的部署。
主动视觉反馈的创新
Open-TeleVision的创新点在于结合了主动视觉反馈的VR系统。通过在机器人头部使用单个主动立体RGB相机，配备2或3个自由度的驱动，模仿人类头部运动，摄像头会随着操作员的头部移动而移动，提供第一人称主动感知。这为远程操作提供了更直观的机制，并为模仿学习提供了自然的注意机制，专注于相关区域，实现平滑、实时和精确的闭环控制。
技术实现细节
系统基于Vuer开发网络服务器，VR设备将操作员的手、头和手腕姿态以SE(3)格式流式传输到服务器，服务器处理运动重定向。机器人以每只眼480x640的分辨率流式传输立体视频，整个循环以60Hz进行。手臂控制采用闭环逆运动学算法，手部控制通过dex-retargeting库实现，使用向量优化器将人手关键点转换为机器人关节角度命令。
任务展示与能力
Open-TeleVision展示了四个任务：罐子分类、罐子插入、折叠和卸载。罐子分类需要根据颜色分类可乐和雪碧罐；罐子插入要求高精度地将罐子插入槽中，采用捏的策略；折叠任务操作柔软材料如毛巾；卸载任务涉及管子的提取和手内传递。这些任务展示了系统在多样化操作中的能力，包括自适应泛化、精确动作和视觉推理。
Q&A
Open-TeleVision系统的主要功能是什么？
Open-TeleVision系统结合了VR技术和机器人手控制，通过捕捉手部姿势实现对机器人的远程操作。
TeleVision系统如何实现对机器人的实时控制？
TeleVision通过网络服务器将操作员的手部、头部和手腕姿态流式传输到服务器，再将这些姿态重新定向到机器人，实现实时控制。
Open-TeleVision在远程操作中有哪些创新之处？
Open-TeleVision结合了主动视觉反馈的VR系统，提供更直观的操作体验，并通过主动摄像头实现第一人称视角的观察。
TeleVision系统的模仿学习算法ACT有哪些关键修改？
TeleVision对ACT进行了两项关键修改：用更强大的视觉骨干DinoV2替换ResNet，并使用两幅立体图像作为输入。
Open-TeleVision系统可以执行哪些具体任务？
系统可以执行罐子分类、罐子插入、折叠和卸载等任务，展示了其多样化的操作能力。
TeleVision系统如何处理机器人手臂和手部的控制？
系统通过运动重定向和优化算法，将人类手腕姿态转换为机器人的坐标系，确保机器人手臂的稳定性和精确控制。
