基于 Transformer 的 RGB-T 跟踪及通道和空间特征融合
内容提要
本文提出了一种名为 USTrack 的单阶段 Transformer RGB-T 跟踪网络，通过自注意机制融合多模态特征，提升目标与背景的区分度。实验结果显示，该方法在多个 RGB-T 跟踪基准上表现优异，推理速度达到 84.2FPS，尤其在 VTUAV 数据集上表现突出。
延伸解读
单阶段Transformer架构的融合策略
USTrack采用单阶段Transformer网络，通过自注意机制将特征提取、融合和预测统一到ViT主干中。这种设计减少了多阶段流程的复杂性，利用模态间的交互直接提取融合特征，从而增强目标与背景的区分度。同时，模态可靠性的特征选择机制进一步优化了跟踪性能，为RGB-T跟踪提供了一种高效的端到端解决方案。
推理速度与精度的平衡
在多个RGB-T跟踪基准上，USTrack实现了84.2FPS的推理速度，同时达到了最先进的性能。这表明该模型在保持高精度的同时，具备了实时跟踪的能力。对于需要快速响应的应用场景，如自动驾驶或视频监控，USTrack的速度优势可能带来实际部署的便利。
VTUAV数据集上的显著提升
在VTUAV数据集的短期和长期子集上，USTrack的MPR和MSR分别增加了11.1%和11.3%。这一提升表明模型在处理复杂场景时具有更好的鲁棒性，尤其是在目标外观变化或遮挡情况下。VTUAV数据集的特性可能突出了USTrack在多模态融合和长期跟踪方面的优势。
Q&A
USTrack 是什么？
USTrack 是一种单阶段 Transformer RGB-T 跟踪网络，利用自注意机制融合多模态特征。
USTrack 如何提高目标与背景的区分度？
USTrack 通过模态之间的相互作用提取融合特征，增强目标与背景的区分度。
USTrack 的推理速度是多少？
USTrack 的推理速度达到 84.2FPS。
USTrack 在 VTUAV 数据集上的表现如何？
在 VTUAV 数据集上，USTrack 的 MPR/MSR 分别增加了 11.1% 和 11.3%。
USTrack 的特征选择机制有什么作用？
USTrack 通过模态可靠性的特征选择机制改善跟踪性能。
USTrack 的实验结果与其他方法相比如何？
USTrack 在多个 RGB-T 跟踪基准上表现优异，尤其在推理速度和准确性上具有竞争力。
