利用 Transformer 进行无约束视频中的弱监督目标定位
内容提要
本文探讨了弱监督语义分割和目标定位的最新进展，提出了基于Transformer的模型TS-CAM、SWTformer和ViTOL，以提高定位精度和性能。这些方法在多个数据集上取得了显著效果，解决了局部激活和类不可知问题。
延伸解读
Transformer 如何缓解弱监督定位的局部激活问题
文章指出，传统卷积网络受限于局部感受野，容易导致类激活图只覆盖物体最 discriminative 的区域。TS-CAM 利用 Transformer 自注意力提取远程依赖，使激活更完整；SWTformer 则结合局部与全局视角提升初始种子 CAMs 的准确性。这些方法共同说明，注意力机制有助于从全局关联中恢复物体整体范围，而非仅聚焦局部。
类不可知问题的解决思路与代表方法
弱监督目标定位常面临类不可知问题，即模型难以区分不同类别的物体区域。ViTOL 通过引入基于补丁的关注中断层（p-ADL）扩大定位图覆盖，并设计基于类别的注意力图生成机制来缓解该问题，在 ImageNet-1K 和 CUB 上分别达到 70.47% 和 73.17% 的最新结果。这表明针对注意力图的类别感知改造是提升定位精度的有效方向。
从基准表现看弱监督语义分割的进展
文章提到 WeakTr 通过自适应融合自注意力图生成更完整的高质量 CAM，在 PASCAL VOC 2012 验证集上达到 78.4% mIoU，在 COCO 2014 验证集上达到 50.3% mIoU，实现了当时最先进的 WSSS 性能。这些数据说明，基于 Transformer 的融合策略能显著提升伪标签质量，但不同数据集上的绝对表现差异也反映出跨域泛化仍是挑战。
空间校准与两阶段框架的补充价值
除注意力改进外，文章还介绍了空间校准模块（SCM）和两阶段学习框架。SCM 调整 Transformer 的长程建模，提升物体空间一致性与注意力图边界精度；两阶段框架则利用低层次特征激活图和加权熵损失减少激活不确定性，在 CUB-200-2011 和 ImageNet-1K 上表现优秀。这些工作表明，后处理与训练策略同样影响最终定位效果。
Q&A
什么是TS-CAM，它的作用是什么？
TS-CAM是一种基于Transformer的注意力映射，利用自注意力机制提取远程特征依赖性，旨在避免局部激活问题，从而提高语义感知定位的性能。
SWTformer如何提高目标定位的准确性？
SWTformer结合了局部和全局视角，以提高初始种子CAMs的准确性，从而改善弱监督目标定位的效果。
ViTOL方法解决了哪些问题？
ViTOL通过引入基于补丁的关注中断层和基于类别的注意力图生成机制，解决了弱监督目标定位中的类不可知问题，并增加了定位图的覆盖范围。
BagCAMs机制的优势是什么？
BagCAMs机制显著提高了弱监督目标定位方法的性能，并在多个基准测试中获得最佳表现，采用区域本地化器生成策略来定义一组区域本地化器。
LCTR框架的主要功能是什么？
LCTR框架旨在增强局部感知能力，包含关系补丁注意模块和Cue Digging模块，经过实验验证其在多个数据集上的有效性。
WeakTr框架在弱监督语义分割中表现如何？
WeakTr框架通过自适应融合自注意力图，实现了在WSSS中的最先进性能，在PASCAL VOC 2012和COCO 2014的基准测试中取得了高mIoU值。
