内容提要
论文提出CeiT混合网络，结合了CNN的局部性优势与Transformer的长距离依赖能力。CeiT在ImageNet及下游任务中表现优异，收敛速度快，且无需大量预训练数据，降低了训练成本。
关键要点
-
CeiT混合网络结合了CNN的局部性优势和Transformer的长距离依赖能力。
-
CeiT在ImageNet和下游任务中达到了SOTA，收敛速度更快。
-
CeiT不需要大量的预训练数据和额外的CNN蒸馏监督，降低了训练成本。
-
论文提出了Imageto-Tokens（I2T）模块，优化了初始token序列的生成。
-
I2T模块通过卷积层和最大池化层提取低维特征，降低了embedding的训练难度。
-
Locally-enhanced FeedForward Network（LeFF）层结合了CNN和Transformer的优势。
-
Layer-wise Class-token Attention（LCA）模块综合不同层的class token作为最终特征。
-
CeiT模型在计算成本略有增加的情况下，获得了更高的性能和更好的收敛性。
延伸问答
CeiT模型的主要优势是什么？
CeiT模型结合了CNN的局部性优势和Transformer的长距离依赖能力，在ImageNet和下游任务中表现优异，收敛速度快，且降低了训练成本。
CeiT模型如何优化初始token序列的生成？
CeiT模型通过Imageto-Tokens（I2T）模块优化初始token序列的生成，利用卷积层和最大池化层提取低维特征。
CeiT模型在训练数据需求上有什么特点？
CeiT模型不需要大量的预训练数据和额外的CNN蒸馏监督，降低了训练成本。
CeiT模型的收敛性如何？
CeiT模型的收敛性更好，训练迭代次数减少了3倍，显著提高了训练效率。
CeiT模型中LeFF层的作用是什么？
LeFF层结合了CNN和Transformer的优势，替代了原有的前馈网络层，以增强局部信息提取能力。
CeiT模型在计算成本上有什么变化？
CeiT模型在计算成本略有增加的情况下，获得了更高的性能和更好的收敛性。
