CeiT：商汤提出结合CNN优势的高效ViT模型 | 2021 arxiv - 晓飞的算法工程笔记
内容提要
论文提出CeiT混合网络，结合了CNN的局部性优势与Transformer的长距离依赖能力。CeiT在ImageNet及下游任务中表现优异，收敛速度快，且无需大量预训练数据，降低了训练成本。
延伸解读
CeiT 的设计动机：弥补纯 Transformer 的不足
文章指出，纯 Transformer 架构在视觉任务中往往需要大量训练数据或额外监督才能达到与 CNN 相当的性能，主要原因是缺乏 CNN 的平移不变性和局部性。CeiT 通过结合 CNN 提取低维特征的局部性优势与 Transformer 建立长距离依赖的能力，针对性地弥补了这些缺点。这一分析为理解混合架构的必要性提供了清晰背景。
三项关键修改：I2T、LeFF 与 LCA
CeiT 对原生 Transformer 做了三处修改：I2T 模块用轻量级卷积和最大池化生成 token 序列，替代直接分割图像，降低 embedding 训练难度；LeFF 层在保持 MHSA 不变的同时，用深度卷积增强前馈网络的局部信息提取；LCA 模块综合不同层的 class token 作为最终特征，并将计算复杂度从 O(n²) 降至 O(n)。这些修改共同提升了性能与收敛性。
实际收益：更低训练成本与更快收敛
实验表明，CeiT 在 ImageNet 和七个下游任务上达到 SOTA，且收敛速度更快，训练迭代次数减少了 3 倍，极大降低了训练成本。同时，它不需要大量的预训练数据和额外的 CNN 蒸馏监督，这降低了对大规模数据和复杂训练流程的依赖。对于资源有限的研究者或开发者，CeiT 提供了一种更高效的视觉 Transformer 替代方案。
Q&A
CeiT模型的主要优势是什么？
CeiT模型结合了CNN的局部性优势和Transformer的长距离依赖能力，在ImageNet和下游任务中表现优异，收敛速度快，且降低了训练成本。
CeiT模型如何优化初始token序列的生成？
CeiT模型通过Imageto-Tokens（I2T）模块优化初始token序列的生成，利用卷积层和最大池化层提取低维特征。
CeiT模型在训练数据需求上有什么特点？
CeiT模型不需要大量的预训练数据和额外的CNN蒸馏监督，降低了训练成本。
CeiT模型的收敛性如何？
CeiT模型的收敛性更好，训练迭代次数减少了3倍，显著提高了训练效率。
CeiT模型中LeFF层的作用是什么？
LeFF层结合了CNN和Transformer的优势，替代了原有的前馈网络层，以增强局部信息提取能力。
CeiT模型在计算成本上有什么变化？
CeiT模型在计算成本略有增加的情况下，获得了更高的性能和更好的收敛性。
