基于增强记忆的 Transformer 的在线时态行为定位

💡 原文中文,约400字,阅读约需1分钟。
📝

内容提要

本文提出了一种新的时间行动定位(TAL)架构,通过特征聚合和循环机制,能够捕捉长距离依赖和时间因果关系。实验证明该方法在多个基准数据集上取得了优越结果,为未来的研究奠定了基础。

🎯

关键要点

  • 提出了一种新的时间行动定位(TAL)架构。
  • 该架构基于选择性状态空间模型,采用特征聚合 Bi-S6 块和双向 Bi-S6 结构。
  • 通过循环机制增强时间和通道依赖建模,捕捉长距离依赖和时间因果关系。
  • 在多个基准数据集上进行广泛实验,验证了方法的优越性。
  • 在 THUMOS-14、ActivityNet、FineAction 和 HACS 数据集上取得了最先进结果。
  • 消融分析表明双向结构和循环机制优于传统方法。
  • 反映了基于 S6 的模型在 TAL 任务中的潜力,为未来研究奠定基础。
➡️

继续阅读