Token卷到触觉了！机器人终于有了通用手感
内容提要
蚂蚁灵波开源触觉预训练模型LingBot-Touch。研究发现，直接将原始触觉信号输入π0.5等动作模型会降低成功率，原因是触觉数据稀疏、噪声大且各传感器格式不统一。LingBot-Touch作为“翻译层”，将磁触觉、视触觉、压阻式触觉统一编码为触觉Token，输出接触位置、力大小与方向。经统一坐标、特征空间预测、数据扩充三步训练，接入后多款模型成功率显著提升，并展现跨传感器泛化能力。
延伸解读
原始触觉信号为何帮倒忙
文章用实验说明，直接把指尖传感器读数喂给π0.5等动作模型，拉拉链成功率从39%降到15%，交接盒子从57%降到48%。原因在于触觉数据大部分是零、接触时信号稀疏且带噪声，加上磁触觉、视触觉、压阻式触觉的输出格式完全不同，模型难以直接理解。这提示触觉接入不是简单增加输入通道，中间的表征转换层很关键。
统一触觉Token的实际收益
LingBot-Touch把三类传感器统一编码成触觉Token，输出接触位置、力大小和方向。接入后，拉拉链成功率从15%升到59%，交接盒子从48%升到63%。在26项任务、四种动作模型测试中，接入LingBot-Touch的平均成功率最高，T-Rex、π0.5、LingBot-VLA分别提升23.18、21.81、24.81个百分点，参数量只增加0.13%到0.16%。
跨传感器泛化的证据与边界
XHand使用的磁触觉传感器型号未出现在预训练数据中，且预训练磁触觉数据全部来自人戴的手套。接入时LingBot-Touch一个参数都没改，π0.5在6项任务上的平均成功率从48.00%升到74.17%，分离叠杯从32.5%升到72.5%。这说明统一表征有一定跨硬件迁移能力，但文章只覆盖两款灵巧手和有限任务，泛化边界仍需更多验证。
触觉基础模型在路线中的位置
文章把LingBot-Touch放在蚂蚁灵波具身原生路线中：视觉负责接触之前，触觉负责接触之后。团队用手套采集大量数据以扩大规模，入口按传感原理而非产品型号设计，为未来新传感器留位置。目前该模型已与LingBot-VLA、LingBot-Depth融合，并与乐聚、钛虎等伙伴在零售分拣、物流分拣和工业场景开展商业化测试，落地效果尚待观察。
Q&A
为什么给机器人装上触觉传感器后，它的操作成功率反而下降了？
因为触觉数据稀疏、噪声大，且不同传感器格式不统一。机器人手指大部分时间不接触物体，读数大量为0；接触时信号也稀疏带噪。视触觉、磁触觉、压阻式触觉输出数据完全不同，动作模型难以直接理解，导致性能下降。
LingBot-Touch是什么？它主要解决什么问题？
LingBot-Touch是蚂蚁灵波开源的触觉预训练基础模型，充当传感器和动作模型之间的“翻译层”。它将磁触觉、视触觉、压阻式触觉的信号统一编码为触觉Token，输出接触位置、力大小和方向，使动作模型能理解不同传感器的触觉信息。
LingBot-Touch是如何训练出来的？
训练分三步：1) 统一坐标，将所有传感器触点映射到标准化指尖空间，并用旋转位置编码（RoPE）让模型适应不同布局；2) 在特征空间做预测，采用JEPA路线，随机遮住90%触点，让模型根据剩余10%预测被遮部分的表征；3) 扩充数据，随机改变触点采样密度和位置，防止模型死记硬背特定布局。
接入LingBot-Touch后，机器人的操作成功率能提升多少？
在Sharpa Wave和XHand两款灵巧手上，四种动作模型接入LingBot-Touch后平均成功率最高。与不用触觉相比，T-Rex、π0.5、LingBot-VLA的成功率分别提升23.18、21.81、24.81个百分点。例如π0.5在拉拉链任务上成功率从39%提升到59%，在XHand的6项任务上平均成功率从48%提升到74.17%。
LingBot-Touch在不同传感器和灵巧手之间能通用吗？
能。LingBot-Touch展现出跨传感器泛化能力。例如在XHand上使用从未出现在预训练数据中的磁触觉传感器型号，且预训练磁触觉数据全部来自人戴的手套，接入时未修改任何参数，π0.5在6项任务上的平均成功率仍从48%提升到74.17%。
LingBot-Touch与之前的触觉基础模型FTP-1相比有哪些优势？
在判断接触中心时，LingBot-Touch在Sharpa Wave上的误差为0.12毫米，FTP-1为2.19毫米；在XHand上误差从5.89毫米降至0.16毫米。FTP-1需要为每只手配专门适配器，而LingBot-Touch使用同一个冻结编码器即可。
