基于 Transformer 的 RGB-T 跟踪及通道和空间特征融合

💡 原文中文,约1700字,阅读约需5分钟。
📝

内容提要

本文提出了一种名为 USTrack 的单阶段 Transformer RGB-T 跟踪网络,通过自注意机制融合多模态特征,提升目标与背景的区分度。实验结果显示,该方法在多个 RGB-T 跟踪基准上表现优异,推理速度达到 84.2FPS,尤其在 VTUAV 数据集上表现突出。

🎯

关键要点

  • USTrack 是一种单阶段 Transformer RGB-T 跟踪网络,利用自注意机制融合多模态特征。
  • 该方法增强了目标与背景的区分度,并通过模态可靠性的特征选择机制改善跟踪性能。
  • 在多个 RGB-T 跟踪基准上进行的实验表明,USTrack 在推理速度上达到 84.2FPS,表现优异。
  • 特别是在 VTUAV 数据集上,USTrack 的 MPR/MSR 分别增加了 11.1% 和 11.3%。

延伸问答

USTrack 是什么?

USTrack 是一种单阶段 Transformer RGB-T 跟踪网络,利用自注意机制融合多模态特征。

USTrack 如何提高目标与背景的区分度?

USTrack 通过模态之间的相互作用提取融合特征,增强目标与背景的区分度。

USTrack 的推理速度是多少?

USTrack 的推理速度达到 84.2FPS。

USTrack 在 VTUAV 数据集上的表现如何?

在 VTUAV 数据集上,USTrack 的 MPR/MSR 分别增加了 11.1% 和 11.3%。

USTrack 的特征选择机制有什么作用?

USTrack 通过模态可靠性的特征选择机制改善跟踪性能。

USTrack 的实验结果与其他方法相比如何?

USTrack 在多个 RGB-T 跟踪基准上表现优异,尤其在推理速度和准确性上具有竞争力。

➡️

继续阅读