内容提要
蚂蚁灵波科技开源触觉基础模型LingBot-Touch,基于近5000小时真实触觉数据预训练,覆盖磁触觉、视触觉和压阻式三类传感器,将不同信号统一为触觉表征。接入LingBot-VLA等四种动作模型后,26项真机测试平均成功率提升约14至26个百分点,如拧瓶盖任务从56.25%升至90%。模型支持跨传感器、跨灵巧手复用,轻量版仅530万参数,技术报告、模型和代码已开源。
延伸解读
触觉补齐视觉盲区,但并非万能
文章指出,许多精细操作中机器人能看清位置却未必能完成任务,因为手指接触后的受力、滑移等信息被遮挡,视觉难以判断。LingBot-Touch通过统一触觉表征为动作模型提供补充,在拧瓶盖等任务上显著提升成功率。但需注意,触觉传感器本身仍处早期阶段,不同原理各有局限,触觉是视觉的补充而非替代,实际效果仍依赖具体任务与硬件匹配。
跨传感器复用降低适配成本
文章强调,触觉数据因传感原理和触点布局不同而难以通用,模型若只学一种信号,换传感器或灵巧手就需重新采集训练。LingBot-Touch按传感原理分设编码入口,再将触点映射到统一指尖坐标空间,输出统一触觉Token。在XHand1上,即使磁触觉传感器型号未出现在预训练数据中,模型参数不变也能复用。这为硬件厂商和整机团队减少重复开发提供了可行路径。
轻量版兼顾端侧算力,扩展性待验证
26项真机测试全部使用约530万参数的LingBot-Touch-Tiny完成,接入动作模型后参数量仅增加约0.13%至0.16%,说明轻量版在端侧算力约束下具备实用性。较大版本LingBot-Touch-Small在预训练数据增至近5000小时后仍能从新增数据获益,暗示触觉预训练有持续扩展空间。但文章未披露更大规模下的真机表现,扩展潜力仍需后续验证。
不绑定自研模型,定位通用感知层
LingBot-Touch在测试中接入了LingBot-VLA、π0.5、Diffusion Policy和T-Rex四种动作模型,并非只服务蚂蚁灵波自研模型。它定位为触觉传感器与动作模型之间的通用感知能力,传感器和灵巧手厂商可按成本与任务选硬件,整机团队可保留自己的动作策略。这种开放定位有助于减少每换一种硬件与算法组合就重新开发触觉能力的重复投入,但生态接受度仍待观察。
Q&A
蚂蚁灵波开源的LingBot-Touch是什么?主要解决什么问题?
LingBot-Touch是蚂蚁灵波科技开源的触觉基础模型,基于近5000小时真实触觉数据预训练,覆盖磁触觉、视触觉和压阻式三类传感器,将不同信号统一为触觉表征。它旨在为机器人大脑补齐触觉感知能力,解决精细操作中视觉难以判断受力、滑移等问题,让机器人“摸得更灵敏”。
LingBot-Touch如何实现跨传感器、跨灵巧手的触觉复用?
LingBot-Touch按传感原理分别设置编码入口,先处理不同原始信号,再将不同布局的触点映射到统一的指尖坐标空间,由共享模型学习接触位置、受力及其随时间的变化,输出统一的触觉Token。这样,不同来源的数据可共同用于训练,触觉能力能跨传感器、跨灵巧手、跨模型和跨任务复用。
接入LingBot-Touch后,机器人在真机测试中的成功率提升多少?
在Sharpa Wave和XHand1两款灵巧手上进行的26项真机测试中,接入LingBot-Touch后,LingBot-VLA、π0.5、Diffusion Policy和T-Rex四种动作模型的平均任务成功率较无触觉时提高约14至26个百分点。例如,T-Rex控制Sharpa Wave拧瓶盖任务,成功率从56.25%提升至90%。
LingBot-Touch有哪几种版本?轻量版参数规模多大?
LingBot-Touch提供两种容量版本:轻量版LingBot-Touch-Tiny约530万参数,本次26项真机测试全部使用该版本完成;容量较大的LingBot-Touch-Small在感知测试中表现出进一步提升的潜力,当预训练数据增至近5000小时时,模型仍能从新增数据中获益。
LingBot-Touch支持哪些动作模型?是否绑定蚂蚁灵波自研模型?
LingBot-Touch在真机测试中接入了四种不同动作模型:LingBot-VLA、π0.5、Diffusion Policy和T-Rex,并不绑定蚂蚁灵波自研模型。它提供的是位于触觉传感器和动作模型之间的通用感知能力,而非某一硬件或某一策略的专用模块。
LingBot-Touch开源了吗?在哪里可以获取?
是的,LingBot-Touch的技术报告、模型和代码已开源,开发者可在Hugging Face、GitHub和魔搭社区访问和下载。