内容提要
UniTac是优理奇机器人联合多所高校提出的统一触觉理解与生成架构,已入选ECCV 2026。它使机器人能预测物体属性,提升柔性物体操作安全性,整合多传感器数据,并接入VLA模型,补足具身智能的触觉短板。
延伸解读
触觉预判为何关键
文章指出,当前VLA模型在处理柔性或易损物体时,往往因缺乏对接触过程的预判而失败。例如,未接入UniTac时,机器人会捏扁纸杯或无法抓起毛巾。UniTac通过预测接触前的触觉状态,让机器人能提前调整策略,从而提升操作安全性。这弥补了视觉感知的不足,使机器人能应对更多复杂接触任务。
跨传感器统一是难点
触觉数据因传感器差异而难以互通,同一物体在不同传感器下呈现不同图像。UniTac通过区分物理属性和传感器配置,并加入传感器识别任务,迫使模型分离物体与传感器因素,从而实现跨设备泛化。这解决了社区数据分散、无法统一利用的问题,为触觉基础模型的发展提供了新思路。
触觉生成的无条件分支问题
UniTac发现触觉生成不存在真正的无条件状态,因为任何触觉信号都由具体传感器产生。因此,它摒弃了普通生成模型常用的无条件分支,改为先给定传感器未接触时的状态,再生成接触后的变化。这一设计更符合物理实际,也提升了跨传感器生成的稳定性,为后续接入VLA提供了可靠触觉先验。
Q&A
UniTac是什么?它主要解决什么问题?
UniTac是优理奇机器人联合多所高校提出的统一触觉理解与生成架构,已入选ECCV 2026。它主要解决机器人缺乏触觉感知和预判能力的问题,通过预测物体属性,提升柔性物体操作的安全性,并整合多传感器数据,接入VLA模型,补足具身智能的触觉短板。
UniTac如何让机器人拥有“触觉想象力”?
UniTac通过从大规模多传感器数据中学习统一的触觉表征,再根据视觉信息预测潜在触觉状态,将触觉从“接触后的反馈”前移为“接触前的先验”,并送入VLA。这样机器人在真正碰到物体之前,就能“想象”出物体的触感,从而决定如何安全地接触。
UniTac在触觉理解方面表现如何?
在触觉理解方面,UniTac-7B在PHYSICLEAR-Test上以66.51分领先Octopi等触觉理解模型,以及BLIP3o等统一模型。在属性-物体匹配任务中,UniTac-7B取得64.61分,能识别软硬、粗糙度等物理属性,并判断触觉来自哪类物体。
UniTac在触觉生成方面表现如何?
在触觉生成方面,UniTac面对Digit、GelSight、GelSight Mini和Duragel四类传感器,平均SSIM和PSNR分别达到0.836和19.93,均取得最佳结果,展现出稳定的跨传感器生成能力。
UniTac如何解决触觉传感器数据异构的问题?
UniTac将触觉拆分为物理属性和传感器配置两部分,在理解端同时学习物体属性描述和传感器识别,迫使模型区分物体变化和传感器变化;在生成端,使用Sensor-Aware DiT Projector将语义输出对齐到触觉latent空间,并加入传感器token,从而统一不同传感器的数据。
UniTac对VLA模型有什么作用?
UniTac为VLA模型提供触觉先验,使机器人在接触物体前就能预测触觉状态,从而避免因缺乏触觉预判而导致的失败,如捏扁纸杯或抓不起毛巾。它补足了VLA在接触密集型任务中的短板,提升了操作的安全性和成功率。
UniTac背后的研究团队有哪些?
UniTac由优理奇机器人联合浙江大学、麻省理工、牛津、耶鲁以及上海交通大学共同完成。共同一作为杨丰瑜(优理奇)和Jiahang Tu(浙大),通讯作者为Hanbin Zhao(浙大助理教授),其他作者包括牛津的Chenyang Ma、MIT的Xihang Yu、耶鲁的Ziyao Zeng与Alex Wong、上海交大的Shaokai Wu等。
优理奇机器人在触觉领域有哪些技术积累?
优理奇机器人围绕触觉已有清晰的技术路线:从Touch and Go采集真实视触觉数据,到UniTouch统一多传感器表征,再到TaRF将视觉与触觉对齐到三维空间,最新的UniTac则将触觉理解、生成和跨传感器迁移纳入统一架构,并接入VLA。