TrackVLA——开放世界下的四足具身视觉跟踪EVT(智能跟随)：集目标识别与轨迹规划为一体的VLA，不怕高动态与遮挡
内容提要
TrackVLA是一种集成目标识别与轨迹规划的视觉-语言-动作模型，旨在解决具身视觉跟踪任务。通过联合训练，该模型在动态环境中展现出优越的识别与规划能力，提升了智能体在复杂场景中的跟踪效果。
关键要点
-
TrackVLA是一种集成目标识别与轨迹规划的视觉-语言-动作模型，旨在解决具身视觉跟踪任务。
-
TrackVLA通过联合训练在动态环境中展现出优越的识别与规划能力，提升了智能体在复杂场景中的跟踪效果。
-
具身视觉跟踪任务要求智能体持续跟踪指定目标，依赖于目标识别和轨迹规划两项高度关联技能。
-
现有方法通常将识别与轨迹规划解耦，导致误差积累，TrackVLA通过统一模型实现两者的协同优化。
-
TrackVLA采用相同的token编码和大语言模型前向机制来预测下一个token，优化识别与规划的紧密耦合。
-
作者收集了85.5万条视频识别样本和85.5万条机器人跟踪样本，以实现对TrackVLA的全面训练。
-
TrackVLA在高度动态环境中表现出更优异的性能，具备鲁棒的感知能力和灵活的运动控制。
-
TrackVLA的架构包括观测编码、LLM的前向传播和基于锚点的扩散动作模型。
-
在推理阶段，使用特殊token [Track] 来指示当前任务，LLM根据视觉观测回答问题或预测轨迹。
延伸问答
TrackVLA的主要功能是什么？
TrackVLA是一种集成目标识别与轨迹规划的视觉-语言-动作模型，旨在解决具身视觉跟踪任务。
TrackVLA如何提高跟踪效果？
TrackVLA通过联合训练目标识别和轨迹规划，优化了两者的协同作用，从而提升了在复杂场景中的跟踪效果。
TrackVLA在动态环境中的表现如何？
TrackVLA在高度动态环境中表现出优异的性能，具备鲁棒的感知能力和灵活的运动控制。
TrackVLA的训练数据来源是什么？
TrackVLA的训练数据包括85.5万条视频识别样本和85.5万条机器人跟踪样本，确保了全面的训练。
TrackVLA如何处理目标识别和轨迹规划的耦合问题？
TrackVLA通过统一模型实现目标识别与轨迹规划的协同优化，避免了误差积累。
TrackVLA的架构包含哪些主要部分？
TrackVLA的架构包括观测编码、LLM的前向传播和基于锚点的扩散动作模型。
