总说具身智能的数据太贵,鹏城实验室开源百万规模标准化数据集

总说具身智能的数据太贵,鹏城实验室开源百万规模标准化数据集

💡 原文中文,约2700字,阅读约需7分钟。
📝

内容提要

鹏城实验室与南方科技大学、中山大学联合发布并开源了ARIO具身智能领域学术成果,该成果是一个具备多种模态感知数据的大规模数据集,旨在解决具身智能领域的数据获取难题。该数据集包含2D、3D、文本、触觉和声音等感知数据,涵盖了操作和导航两大类任务,并包含多种机器人硬件。鹏城实验室还设计了一套针对具身大数据的格式标准,以满足具身智能大模型对感知和控制时序的精确要求。ARIO数据集共有258个场景序列,321,064个任务,303万个样例。

🔎

延伸解读

统一格式标准:具身数据规模化的关键

具身数据因机器人形态、控制方式各异,格式不统一会导致聚合后需大量预处理。ARIO 设计了一套格式标准,能记录多种形态机器人的控制参数,兼容不同帧率传感器并记录时间戳,满足大模型对感知和控制时序的精确要求。这一标准是数据集实现高质量、多样化和大规模的基础,也为后续数据统计分析提供了便利。

数据来源与构成:真实、仿真与转换三管齐下

ARIO 的数据来自三方面:真实环境采集、仿真引擎生成和现有数据集转换。真实数据基于 Cobot Magic 主从双臂机器人,设计了 30 多种任务,涵盖三个难度等级,并通过增加干扰、随机化位置等方式提升多样性,最终获得 3000 多条轨迹。仿真数据则利用 MuJoCo、Habitat 等引擎生成。这种混合来源既保证了规模,也兼顾了真实场景的价值。

从数据统计看机器人行业态势

得益于统一格式,ARIO 支持从 series、task、episode 三个层面统计场景和技能分布,发现当前大部分具身数据集中在室内生活家居环境。此外,还能从机器人形态、控制方式、传感器种类等维度分析行业趋势。例如,大部分数据来源于单臂机器人,人形机器人的开源数据很少,且主要来自鹏城实验室的真实采集和仿真生成。这些统计为理解行业现状提供了数据支撑。

❓

Q&A

ARIO数据集的主要目的是什么?

ARIO数据集旨在解决具身智能领域的数据获取难题,提供多种模态的感知数据。

ARIO数据集包含哪些类型的感知数据?

ARIO数据集包含2D、3D、文本、触觉和声音等多种模态的感知数据。

鹏城实验室在数据集设计中采用了什么标准?

鹏城实验室设计了一套针对具身大数据的格式标准,以满足感知和控制时序的精确要求。

ARIO数据集的规模有多大?

ARIO数据集共有258个场景序列,321064个任务,303万个样例。

如何获取ARIO数据集?

可以通过论文原文和项目主页下载ARIO数据集。

当前具身智能领域面临哪些数据采集挑战?

具身智能领域面临高时间和成本的挑战,难以达到大规模的数据采集。

🏷️

标签

➡️

继续阅读