T-Rex——给VLA带上触觉的灵巧操作框架：先通过人类视频做预训练，再通过富含触觉的中期训练对齐交互，最后利用极少量目标域演示以快速适配下游任务
内容提要
T-Rex是一个多模态框架，旨在提升机器人对触觉信号的反应能力。它通过构建一个包含触觉和视觉信息的统一模型，利用100小时的触觉同步遥操作数据集，支持灵巧操作。该模型分为低频动作专家和高频触觉专家，能够快速适应复杂的操作任务。
关键要点
-
T-Rex是一个多模态框架，旨在提升机器人对触觉信号的反应能力。
-
该框架通过构建一个包含触觉和视觉信息的统一模型，支持灵巧操作。
-
T-Rex利用100小时的触觉同步遥操作数据集，覆盖多样化的富接触行为。
-
模型分为低频动作专家和高频触觉专家，能够快速适应复杂的操作任务。
-
触觉反应式控制需要高频响应，而标准的视觉-语言-行动模型通常在较低频率下工作。
-
T-Rex通过Mixture-of-Transformers架构，将控制拆分为两个互相解耦的部分，提升了灵巧操作的能力。
延伸解读
触觉与视觉的结合
T-Rex框架通过将触觉和视觉信息整合，提升了机器人在复杂操作中的灵活性。这种多模态的设计使得机器人能够在执行任务时，快速响应触觉反馈，克服了传统视觉模型在高频操作中的局限性。
数据集的重要性
T-Rex利用了100小时的触觉同步遥操作数据集，这一数据集的多样性和丰富性为模型的训练提供了坚实基础。相比于以往仅关注特定任务的数据集，T-Rex的数据集涵盖了更广泛的日常物体和操作，增强了模型的适应能力。
架构设计的创新
T-Rex采用Mixture-of-Transformers架构，将控制任务分为低频动作和高频触觉两个部分。这种解耦设计不仅提高了灵巧操作的效率，也为未来的机器人控制系统提供了新的思路，尤其是在需要快速反应的场景中。
延伸问答
T-Rex框架的主要目标是什么？
T-Rex框架旨在提升机器人对触觉信号的反应能力，支持灵巧操作。
T-Rex是如何处理触觉和视觉信息的？
T-Rex通过构建一个包含触觉和视觉信息的统一模型，来处理这两种信息。
T-Rex使用了多少小时的触觉同步遥操作数据？
T-Rex利用了100小时的触觉同步遥操作数据集。
T-Rex模型的架构是怎样的？
T-Rex采用Mixture-of-Transformers架构，将控制拆分为低频动作专家和高频触觉专家。
T-Rex如何应对触觉反应式控制的频率挑战？
T-Rex通过将控制拆分为两个互相解耦的部分，分别处理低频和高频响应，来应对频率挑战。
T-Rex框架的训练过程是怎样的？
T-Rex的训练过程包括通过人类视频进行预训练，再通过富含触觉的中期训练对齐交互，最后利用少量目标域演示快速适配。
