TransAxx: 高效逼近计算的 Transformer
内容提要
该文综述高效视觉Transformer研究，涵盖TRT-ViT、PriViT、Next-ViT、TurboViT、CXV、EfficientViT、MiniViT、MobileViT等模型，通过改进注意力机制、混合卷积架构、压缩参数与硬件延迟优化，在图像分类、检测等任务中提升计算效率，兼顾速度与精度，适于移动及工业部署。
延伸解读
硬件延迟作为效率指标
文章强调从实际应用角度重新审视Transformer，并将硬件延迟作为衡量计算效率的关键指标。这不同于仅关注理论计算量（如FLOPs）的传统方法，因为硬件延迟直接反映模型在真实设备上的推理速度。TRT-ViT的提出正是基于这一理念，针对TensorRT优化，在延迟与准确性权衡上优于现有ConvNets和Vision Transformers。
混合架构与注意力改进
为提升效率，文章综述了多种混合架构和注意力改进方法。例如Next-ViT结合卷积块和Transformer块捕获局部与全局信息；CXV用线性注意力替代二次注意力以减少GPU使用；EfficientViT优化内存硬自注意力。这些方法在保持精度的同时，显著降低了计算复杂性和延迟，适用于移动和工业部署。
压缩与移动端优化
针对Vision Transformer参数过多的问题，文章介绍了MiniViT压缩框架，通过权重多路复用和自注意力权重蒸馏减少参数，同时保持高精度。MobileViT将Transformer视为卷积，专为移动设备设计，在对象检测等任务上表现优于CNN和ViT。这些工作表明，通过结构创新和压缩技术，Transformer可以高效运行在资源受限设备上。
Q&A
TRT-ViT 是什么？它有什么特点？
TRT-ViT 是一种针对 TensorRT 设计的视觉 Transformer 网络模型，从实际应用角度重新审视 Transformer，并将硬件延迟作为衡量计算效率的指标。实验表明，在不同的视觉任务中，TRT-ViT 在延迟/准确性的权衡方面显著优于现有的 ConvNets 和 Vision Transformers。
PriViT 如何实现隐私预测？
PriViT 通过温和改变 Vision Transformer 结构中的非线性变换，在维持预测准确性的同时，适应安全多方计算（MPC）协议的隐私预测。相比于现有方案，PriViT 在延迟-准确性的 Pareto 最优曲线方面取得改进。
Next-ViT 模型的结构和优势是什么？
Next-ViT 使用 Next Convolution Block 和 Next Transformer Block 捕获局部和全局信息，以加速多种视觉任务的表现，同时保持与最先进的 CNN-Transformer 混合框架的可比性，可用于实际工业场景中的高效部署。
TurboViT 是如何实现高效计算的？
TurboViT 通过生成式架构搜索，利用掩蔽单元注意力和 Q 池设计模式创建高效分层视觉 Transformer 体系结构。相较于其他 10 种同等准确度的最新高效视觉 Transformer 网络架构设计，在 ImageNet-1K 数据集上实现了显著较小的计算复杂性和更高的计算效率，同时在实时和批处理场景下表现出强大的推理延迟和吞吐量。
CXV 是什么？它适用于什么场景？
CXV 是一种基于线性注意力机制的混合体系结构——Convolutional X-formers for Vision。通过将 Quintic Transformer、Nyströmformer 和 Linear Transformer 等线性注意力机制代替二次注意力机制，来减少 GPU 使用。CXV 在有限的数据和 GPU 资源（核心、内存、功率）场景下，比其他的架构如 Token mixers（例如 ConvMixer、Fnet 和 MLP Mixer）、变换模型（如 ViT、CCT、CvT 和混合 Xformers）以及 ResNets 等，更适用于图像分类任务。
MiniViT 如何减少 Vision Transformer 的参数数量？
MiniViT 是一个压缩框架，利用权重多路复用和自注意力权重蒸馏相结合，显著减少参数数量，同时在视觉任务中保持高精度，找到解决 Vision Transformer 参数过多的问题的方法。
