CeiT：商汤提出结合CNN优势的高效ViT模型 | 2021 arxiv - 晓飞的算法工程笔记
原文中文，约2400字，阅读约需6分钟。
📝
内容提要
论文提出CeiT混合网络，结合了CNN的局部性优势与Transformer的长距离依赖能力。CeiT在ImageNet及下游任务中表现优异，收敛速度快，且无需大量预训练数据，降低了训练成本。
❓
Q&A
CeiT模型的主要优势是什么？
CeiT模型结合了CNN的局部性优势和Transformer的长距离依赖能力，在ImageNet和下游任务中表现优异，收敛速度快，且降低了训练成本。
CeiT模型如何优化初始token序列的生成？
CeiT模型通过Imageto-Tokens（I2T）模块优化初始token序列的生成，利用卷积层和最大池化层提取低维特征。
CeiT模型在训练数据需求上有什么特点？
CeiT模型不需要大量的预训练数据和额外的CNN蒸馏监督，降低了训练成本。
CeiT模型的收敛性如何？
CeiT模型的收敛性更好，训练迭代次数减少了3倍，显著提高了训练效率。
CeiT模型中LeFF层的作用是什么？
LeFF层结合了CNN和Transformer的优势，替代了原有的前馈网络层，以增强局部信息提取能力。
CeiT模型在计算成本上有什么变化？
CeiT模型在计算成本略有增加的情况下，获得了更高的性能和更好的收敛性。
🏷️
