Apple Machine Learning Research
·
EgoDex：从大规模自我中心视频中学习灵巧操作
💡
原文英文，约200词，阅读约需1分钟。
📝
内容提要
模仿学习在操作中面临数据稀缺问题，现有数据集如Ego4D缺乏手势标注。为此，我们使用Apple Vision Pro收集了EgoDex，这是最大的人类灵巧操作数据集，包含829小时自我中心视频和3D手指追踪数据，涵盖194种日常操作任务。我们在该数据集上训练和评估了模仿学习策略，以推动机器人和计算机视觉的发展。
🎯
关键要点
- 模仿学习在操作中面临数据稀缺问题，缺乏手势标注的数据集。
- 现有的大规模数据集如Ego4D不专注于物体操作，缺乏手势姿态标注。
- 使用Apple Vision Pro收集了EgoDex，这是最大的人类灵巧操作数据集。
- EgoDex包含829小时的自我中心视频和3D手指追踪数据，涵盖194种日常操作任务。
- 数据集记录了多种家庭物品的操作行为，包括系鞋带和折叠衣物等任务。
- 在该数据集上训练和评估了模仿学习策略，推动机器人和计算机视觉的发展。
- 发布这个大规模数据集旨在推动机器人、计算机视觉和基础模型的前沿研究。
❓
延伸问答
EgoDex数据集的主要特点是什么？
EgoDex是最大的灵巧操作数据集，包含829小时的自我中心视频和3D手指追踪数据，涵盖194种日常操作任务。
EgoDex数据集是如何收集的？
EgoDex使用Apple Vision Pro收集，通过多个校准摄像头和设备上的SLAM技术精确追踪手部每个关节的姿态。
EgoDex数据集解决了哪些模仿学习中的问题？
EgoDex解决了模仿学习中的数据稀缺问题，特别是缺乏手势标注的数据集。
EgoDex数据集包含哪些类型的操作任务？
EgoDex数据集记录了194种日常操作任务，包括系鞋带和折叠衣物等家庭物品的操作行为。
EgoDex数据集对机器人和计算机视觉的影响是什么？
发布EgoDex数据集旨在推动机器人、计算机视觉和基础模型的前沿研究，促进相关领域的发展。
EgoDex数据集与Ego4D数据集有什么不同？
EgoDex专注于物体操作并包含手势姿态标注，而Ego4D缺乏手势标注且不专注于物体操作。
➡️
