内容提要
破晓智能发布全身全模态数据采集系统SeePhys Hub,由四目头环、腕部手环、腰腿追踪器和触觉手套组成,在轻量Ego数据基础上补回全身运动与触觉信息,同步精度达0.5毫秒。团队计划2027年推出全模态世界模型,优先落地工业、餐饮零售场景,暂不造机器人本体。
延伸解读
全身全模态数据采集的定位
SeePhys Hub瞄准数据金字塔的中间层,在轻量Ego数据与高精度动捕、真机数据之间寻找平衡。它通过稀疏节点和算法恢复全身姿态,保留Ego的规模化潜力,同时补回身体运动与触觉信息。这种定位意味着它不追求最高精度,而是试图在成本与信息完整性之间取得折中,为全身移动灵巧操作提供更可用的训练数据。
触觉手套的可选设计
触觉手套被设计为可选配件,源于实际采集中的工程约束。数据采集运营方反馈,戴手套会影响洗碗等精细操作,且传感器可能因接触水等产生噪声,例如抓过水杯后空手仍显示压力。因此手环与手套可分开使用,客户按任务选择配置,团队同时研究从视觉估计触觉,以扩大数据来源并降低穿戴对操作的影响。
不造本体的风险考量
破晓智能现阶段不准备造机器人本体,创始人杨朔认为数据、模型和落地场景仍在变化,机器人是否需要搬重物、负载多大都影响本体设计。过早定下硬件可能限制算法方向,形成沉没成本。当前团队利用通用本体测试模型,计划与本体商、场景方合作试点,未来是否推出本体取决于场景需求和商业回报是否明确。
模型竞争的现实挑战
破晓对模型竞争有不同判断:机器人最终需在真实环境中实时感知、决策和执行,许多场景要求端侧部署。相比一味扩大参数规模,让有限规模的模型掌握物理交互能力并稳定完成任务,可能是更现实的挑战。这一观点支撑了团队从数据采集入手、计划2027年推出全模态世界模型的路径,优先在工业、餐饮零售等垂直场景验证。
Q&A
SeePhys Hub是什么?它由哪些部分组成?
SeePhys Hub是破晓智能联合天珑移动发布的全身全模态数据采集系统,由四目头环、两个腕部手环、三个腰腿部动作追踪器和一副触觉手套组成,通过视觉与运动信号融合恢复全身姿态,并采集手部接触压力。
SeePhys Hub如何解决Ego数据中身体运动信息缺失的问题?
SeePhys Hub在人体关键位置增加少量追踪节点:腰部和双小腿布置三个动作追踪器,结合头部视觉与双腕信息,通过算法恢复全身姿态;IMU提供运动信号,UWB提供节点间测距,再与视觉结合估计全身姿态。四目头环提供360°环视,腕部相机补充近距离细节,触觉手套记录接触压力。
SeePhys Hub的数据同步精度是多少?为什么同步很重要?
头环内相机、IMU和UWB的同步精度不超过0.5毫秒。同步很重要,因为视频里手碰到物体的瞬间需要和压力变化、运动状态对应,后续才能分析完整的交互过程,不同模态的数据能否有效衔接也受此影响。
破晓智能为什么选择从数据和设备入手,而不是直接造机器人本体?
创始人杨朔认为,想把身体运动、手部接触和环境变化放在一起建模,就需要相应的操作记录,但所需数据难以低成本、规模化获得,因此团队选择自己补上这个入口。同时,数据、模型和落地场景还在变化,过早定下硬件可能限制后续算法方向,他把这种风险称为“纯纯的沉没成本”。
破晓智能计划何时推出全模态世界模型?优先落地哪些场景?
团队预计在2027年推出全模态世界模型,并优先在工业、餐饮零售等垂直场景开展应用验证。现阶段仍不准备造自己的机器人本体。
SeePhys Hub的触觉手套为什么设计为可选?
因为如果遇到洗碗等涉及防水的特定场景,精细操作会受穿戴影响,传感器本身也可能出现噪声。团队曾在测试中遇到手套抓过几次水杯后,空手伸开仍显示局部压力的情况。这类噪声进入数据会增加后续处理和训练的难度,因此手环与手套可以分开使用,客户按任务选择配置。
SeePhys Hub在破晓智能的数据金字塔中处于什么位置?
在创始人杨朔描述的三层数据金字塔里,底层是量大的互联网视频,通过算法补充姿态和触觉信息;顶层是高精度动捕、真机操作等数据;SeePhys Hub瞄准的是中间层,尝试兼顾规模化采集的潜力与更完整的交互记录。