dexcap升级版之DexWild——面向户外环境的灵巧手交互策略：人类和机器人演示协同训练(人类直接带上动捕手套采集数据)
💡
原文中文，约6500字，阅读约需16分钟。
📝
内容提要
长沙团队已完成设备开发，目标是通过机械臂实现叠衣服和搬箱子，以提升新员工能力。DexWild系统高效采集人类操作数据，克服传统方法局限，支持灵巧机器人学习。
🎯
关键要点
- 长沙团队已完成设备开发，目标是通过机械臂实现叠衣服和搬箱子，以提升新员工能力。
- DexWild系统高效采集人类操作数据，克服传统方法局限，支持灵巧机器人学习。
- DexWild-System是一个便携且用户友好的系统，能够在多样化环境中实现自然、高效的数据采集。
- DexWild采用无需校准的Aruco追踪，大幅提升了可靠性并最小化了设置时间。
- DexWild收集了大规模的人类示范数据集和较小的遥操作机器人数据集，以实现稳健的泛化能力。
- DexWild利用预训练的VisionTransformer作为视觉编码器，以应对视觉多样性。
- DexWild采用扩散模型进行策略训练，以捕捉多模态动作分布，提升策略的鲁棒性。
❓
延伸问答
DexWild系统的主要目标是什么？
DexWild系统的主要目标是通过机械臂实现叠衣服和搬箱子，以提升新员工的能力。
DexWild如何克服传统数据采集方法的局限性？
DexWild通过高效采集人类操作数据，避免了传统方法的高成本和劳动强度，支持灵巧机器人学习。
DexWild系统的便携性如何影响数据采集？
DexWild系统设计为便携且用户友好，能够在多样化环境中快速、大规模地采集数据，减少设置时间。
DexWild使用了什么样的视觉编码器？
DexWild采用了预训练的VisionTransformer作为视觉编码器，以应对视觉多样性。
DexWild如何提高策略的鲁棒性？
DexWild采用扩散模型进行策略训练，以捕捉多模态动作分布，从而提升策略的鲁棒性。
DexWild系统的核心组件有哪些？
DexWild系统由手腕姿态估计摄像头、迷你电脑和动作捕捉手套组成。
➡️
