T2T-ViT：更多的局部结构信息，更高效的主干网络 | ICCV 2021 - 晓飞的算法工程笔记
内容提要
论文提出了T2T-ViT模型，通过引入tokens-to-token（T2T）模块有效融合图像结构信息，并设计了深窄的ViT主干网络，增强特征丰富性。在ImageNet上，T2T-ViT在零训练时性能优于ResNets，与MobileNets相当。
延伸解读
ViT从零训练的性能瓶颈
论文指出，ViT在中型数据集（如ImageNet）上从零训练时性能不如同规模CNN，主要因为ViT将图像拆分为固定长度token时忽略了局部结构信息，且主干网络效率低，许多通道值为零。通过可视化对比，ResNet能逐层捕获边缘、线条等局部特征，而ViT的注意力块主要建模全局关系。这解释了T2T-ViT改进的出发点。
T2T模块如何融合结构信息
T2T模块通过Re-structurization和Soft Split两个步骤迭代处理。Re-structurization将token序列重塑为空间图像，Soft Split则使用重叠的分割区域将图像拆分为token，并拼接每个区域内的token以聚合局部信息。这种设计使相邻分割区域生成的token具有更强相关性，从而逐步减少token数量并建模局部结构。
deep-narrow主干的设计考量
论文借鉴CNN架构经验，发现deep-narrow结构（较小的通道数和隐藏维度，但更多层数）能提升特征丰富度。例如T2T-ViT-14有14个Transformer层，中间特征维度384，而ViT-B/16有12层，维度768，参数量和MACs是T2T-ViT-14的3倍。这种设计在减少冗余的同时，增强了特征复用和丰富性。
模型系列与对比基准
为便于比较，论文设计了三个标准模型（T2T-ViT-14、19、24），参数量分别与ResNet50、101、152相当；另有两个lite模型（T2T-ViT-7、12），大小与MobileNetV1、V2相当。在ImageNet从零训练时，T2T-ViT性能优于ResNets，与MobileNets相当。这些对比展示了T2T-ViT在不同规模下的有效性。
Q&A
T2T-ViT模型的主要创新点是什么？
T2T-ViT模型通过引入tokens-to-token（T2T）模块有效融合图像结构信息，并设计了深窄的ViT主干网络，增强特征丰富性。
T2T模块是如何处理图像的结构信息的？
T2T模块通过Re-structurization和Soft Split逐步将图像结构化为token，并减少token数量，从而建模局部结构信息。
T2T-ViT在ImageNet上的表现如何？
在ImageNet上，T2T-ViT在零训练时性能优于ResNets，与MobileNets相当。
为什么ViT在中型数据集上的性能不如CNN？
ViT在中型数据集上性能不如CNN主要是因为局部结构信息建模不足。
T2T-ViT的主干网络设计有什么特点？
T2T-ViT的主干网络设计为deep-narrow架构，具有较小的通道数和更多的层数。
论文中提到的T2T-ViT模型与ResNet和MobileNet的比较结果如何？
论文设计了多个T2T-ViT模型与ResNet和MobileNet进行比较，结果显示T2T-ViT在性能上优于ResNet，并与MobileNet相当。
