具有自我出现标记的完全注意力网络
内容提要
该文综述视觉Transformer（ViT）研究进展，涵盖全注意网络FAN（ImageNet准确率87.1%、ImageNet-C mCE 35.8%，并提升分割与检测性能）、语义标记降维、Token labeling训练目标、SiT自瘦身、DualToken-ViT轻量模型、推理中重组token、T2T-ViT、自监督少样本分类分割、Semi-ViT半监督及ViT稳健性分析等工作。
延伸解读
FAN 的稳健性突破与代价
文章指出全注意网络（FAN）在 ImageNet-C 上达到 35.8% mCE，并在语义分割和物体检测中同时取得准确性与稳健性提升。这说明加强注意力通道设计能有效应对数据干扰，但 87.1% 的 ImageNet 准确率与 35.8% mCE 是特定实验条件下的结果，读者需注意其计算成本未在文中说明，实际部署时需权衡性能与效率。
轻量化与训练目标的协同
DualToken-ViT 在仅 0.5G 和 1.0G FLOPs 下分别达到 75.4% 和 79.4% 的 ImageNet-1K 准确率，且 1.0G 模型超过 LightViT-T 0.7%。结合 Token labeling 训练目标和 SiT 自瘦身方法，可见降低计算负担与保持性能可并行推进。但文章未给出这些方法组合后的整体收益，读者应关注单项优化在真实任务中的叠加效果。
自监督与半监督的实用边界
自监督 ViT 在仅使用图像级标签时即可进行少样本分类和分割，Semi-ViT 则通过概率伪混合机制达到与 CNN 相当或更好的性能。这些结果降低了标注依赖，但文章未说明在极少量标签或跨域场景下的具体表现。读者需注意，自监督预训练本身需要大量无标签数据，实际应用时应评估数据获取成本与任务匹配度。
Q&A
全注意网络FAN在ImageNet上的准确率和稳健性指标是多少？
FAN在ImageNet-1k上达到87.1%的准确率，在ImageNet-C上达到35.8%的mCE，并在语义分割和物体检测两个下游任务中实现了最新的准确性和稳健性。
Token labeling这种训练方法是怎么工作的？
Token labeling将图像分类问题重组成多个基于令牌级别的识别问题，并为每个补丁令牌分配由机器注释器生成的单独的位置特定监督，从而显著且一致地提高各种ViT模型的性能。
SiT自我瘦身方法如何减少ViT的计算负担？
SiT基于Token Slimming Module和Feature Recalibration Distillation，能够大幅减少Vision Transformers的计算负担，同时不会对分类性能产生太大影响，并在ImageNet数据集上实现了新的最佳性能。
DualToken-ViT在轻量级模型中的表现如何？
DualToken-ViT通过卷积和自注意结构融合局部与全局信息，并使用位置感知的全局标记丰富全局信息。在ImageNet-1K上，0.5G FLOPs模型达到75.4%准确率，1.0G FLOPs模型达到79.4%准确率，且1.0G FLOPs模型性能超过使用全局标记的LightViT-T模型0.7%。
T2T-ViT如何提高训练样本效率？
T2T-ViT通过对输入图像递归聚合邻近的Tokens，结合本地结构进行建模，从而提高模型训练样本效率，并减少模型参数和计算量，最终在ImageNet数据集上取得优秀表现。
Vision Transformer为什么比卷积神经网络更稳健？
研究通过六个系统设计的实验，在六个不同的ImageNet数据集上与SOTA卷积神经网络比较，提供了定量和定性的分析来解释ViT为什么是更加稳健的学习器，但具体原因需参考原文分析。
