基于增强记忆的 Transformer 的在线时态行为定位
内容提要
本文介绍了多种时间行为定位（TAL）方法的进展，包括T3AL、LocATe、OpenTAL和ActionSwitch等。这些新方法在不同数据集上表现优于传统方法，尤其在复杂场景和细粒度动作处理方面，验证了自适应和记忆机制在TAL中的有效性。
延伸解读
在线TAL的挑战与ActionSwitch的突破
在线时间动作定位要求模型实时处理视频流，且常面临动作重叠和类别未知的挑战。ActionSwitch作为首个不依赖类别信息的框架，通过保守性损失在决策中嵌入保守原则，从而在Epic-Kitchens 100和FineAction等复杂数据集上实现最先进性能。这提示我们，摆脱对预定义类别的依赖可以提升模型在开放场景中的适用性，但保守性损失的具体机制和平衡点仍需进一步研究。
记忆机制在TAL中的核心作用
多篇工作强调了记忆机制对提升TAL性能的关键性。TALLFormer通过长期记忆机制消除冗余帧处理，显著降低GPU内存和训练时间；Memory-and-Anticipation Transformer建模过去、现在和未来，在在线动作检测和预测中取得优势；基于选择性状态空间模型的新架构则通过循环机制捕捉长距离依赖。这些方法共同表明，高效记忆设计能同时改善精度与效率，但不同记忆结构的适用场景和计算开销仍需权衡。
开放场景与不确定性建模的进展
现实场景中未知动作不可避免，OpenTAL框架基于证据深度学习，通过不确定性动作分类、动作性预测和时间位置回归三方面解决开放场景问题。实验证明该方法有效，但如何量化不确定性并设定阈值仍需探索。此外，T3AL利用测试时间自适应和自监督学习，在THUMOS14和ActivityNet-v1.3上超越零样本方法，说明自适应机制能缓解域偏移，但其对字幕模型质量的依赖可能成为瓶颈。
Q&A
T3AL方法的主要优势是什么？
T3AL方法通过测试时间自适应和自我监督学习显著提高了动作区域定位的性能，尤其在THUMOS14和ActivityNet-v1.3数据集上表现优异。
LocATe方法在3D-TAL中有什么创新？
LocATe是一种端到端的3D-TAL方法，能够更好地捕捉动作之间的长期关联，并在PKU-MMD基准上取得93.2%的mAP。
OpenTAL框架是如何解决未知动作问题的？
OpenTAL框架通过不确定性动作分类、动作性预测和时间位置回归来解决开放场景中的未知动作问题，实验验证了其有效性。
ActionSwitch框架的独特之处是什么？
ActionSwitch是第一个不依赖于类别信息的在线时间动作定位框架，能够检测重叠动作，并在复杂数据集中表现优异。
TALLFormer方法如何提高内存效率？
TALLFormer通过长期记忆机制消除了在每个训练迭代中处理冗余视频帧的需要，从而显著降低了GPU内存消耗和训练时间。
新TAL架构的主要贡献是什么？
基于选择性状态空间模型的新TAL架构通过特征聚合和循环机制捕捉长距离依赖，实验结果在多个基准上达到了最先进水平。
