晓飞的算法工程笔记
·
T2T-ViT：更多的局部结构信息，更高效的主干网络 | ICCV 2021 - 晓飞的算法工程笔记
内容提要
论文提出了T2T-ViT模型，通过引入tokens-to-token（T2T）模块有效融合图像结构信息，并设计了深窄的ViT主干网络，增强特征丰富性。在ImageNet上，T2T-ViT在零训练时性能优于ResNets，与MobileNets相当。
关键要点
-
论文提出了T2T-ViT模型，引入tokens-to-token（T2T）模块，有效融合图像结构信息。
-
T2T-ViT设计了深窄的ViT主干网络，增强特征丰富性。
-
在ImageNet上，T2T-ViT在零训练时性能优于ResNets，与MobileNets相当。
-
ViT在中型数据集上从零训练时性能不如CNN，主要源于局部结构信息建模不足。
-
T2T模块通过Re-structurization和Soft Split逐步将图像结构化为token，并减少token数量。
-
T2T-ViT主干网络设计为deep-narrow架构，具有较小的通道数和更多的层数。
-
论文设计了多个T2T-ViT模型以便与ResNet和MobileNet进行比较，展示了其有效性。
延伸问答
T2T-ViT模型的主要创新点是什么？
T2T-ViT模型通过引入tokens-to-token（T2T）模块有效融合图像结构信息，并设计了深窄的ViT主干网络，增强特征丰富性。
T2T模块是如何处理图像的结构信息的？
T2T模块通过Re-structurization和Soft Split逐步将图像结构化为token，并减少token数量，从而建模局部结构信息。
T2T-ViT在ImageNet上的表现如何？
在ImageNet上，T2T-ViT在零训练时性能优于ResNets，与MobileNets相当。
为什么ViT在中型数据集上的性能不如CNN？
ViT在中型数据集上性能不如CNN主要是因为局部结构信息建模不足。
T2T-ViT的主干网络设计有什么特点？
T2T-ViT的主干网络设计为deep-narrow架构，具有较小的通道数和更多的层数。
论文中提到的T2T-ViT模型与ResNet和MobileNet的比较结果如何？
论文设计了多个T2T-ViT模型与ResNet和MobileNet进行比较，结果显示T2T-ViT在性能上优于ResNet，并与MobileNet相当。
