类比图像：视觉变换器中的模块化超像素标记化
内容提要
本文介绍了多种基于视觉Transformer的模型改进方法，如T2T-ViT、ViTAS和DualToken-ViT。这些方法通过优化Token处理、动态稀疏化和混合尺度设计，提高了图像分类和分割的效率与准确性，并显著降低了计算复杂性。实验结果表明，这些新模型在ImageNet等数据集上表现优异。
延伸解读
技术演进脉络
文章按时间顺序梳理了视觉Transformer的多种改进方法，从2020年的语义标记建模到2023年的PPT框架，展示了该领域在效率与精度上的持续优化。这些方法分别针对标记处理、动态稀疏化、混合尺度等不同角度，反映了研究热点的变迁。
效率与精度的平衡策略
多项工作致力于降低计算复杂性而不牺牲准确性。例如，动态Token稀疏化通过阈值删除冗余信息，减少FLOPs并提高吞吐量；PPT框架集成剪枝和汇聚技术，在ImageNet上使DeiT-S的FLOPs降低37%，吞吐量提高45%以上，且无精度损失。
代表性模型性能
DualToken-ViT在ImageNet-1K上以0.5G和1.0G FLOPs分别达到75.4%和79.4%的准确率，其1.0G FLOPs模型性能超过LightViT-T 0.7%。ViTAS通过循环权重共享和身份移位，取得了极高的性能提升。这些结果显示了新模型在效率与精度上的优势。
Q&A
T2T-ViT模型的主要特点是什么？
T2T-ViT模型通过递归聚合Tokens，提高训练样本效率，减少参数和计算量，在ImageNet上表现优秀。
动态Token稀疏化框架是如何提高效率的？
动态Token稀疏化框架通过阈值删除多余信息，减少FLOPs，提高吞吐量，同时保持精度。
ViTAS方法解决了什么问题？
ViTAS方法通过循环权重共享和身份移位解决目标嵌入失衡问题，获得稳定的训练结果和高性能提升。
混合分辨率标记方案的优势是什么？
混合分辨率标记方案结合Quadtree算法和显著性评分器，提升了图像分类效果。
DualToken-ViT模型的创新点是什么？
DualToken-ViT模型融合局部和全局信息，展示在图像分类和分割任务上的有效性，取得高准确率。
PPT框架如何降低模型复杂性？
PPT框架通过集成令牌剪枝和汇聚技术，自适应地应对冗余，有效降低模型复杂性，同时保持预测准确性。
