视网膜视觉变换器 (RetinaViT): 将缩放图块引入视觉变换器
内容提要
本研究提出了多种新型视觉变换器模型，如基于降维的 PiT、ConvMixer、UViT、AdaViT、HVT 和 MPViT。这些模型在图像分类和检测任务中表现优于传统模型，显著提升了计算效率和准确性。
延伸解读
从ViT到PiT：降维思想如何提升视觉变换器
文章指出，PiT模型基于降维思想，通过池化操作降低特征维度，在图像分类、物体检测和鲁棒性上优于原始ViT。这提示我们，视觉变换器并非只能堆叠自注意力，引入空间维度转换（如池化）能有效提升性能。对于关注模型效率的读者，PiT提供了一种兼顾准确率与计算成本的改进方向。
卷积与变换器的融合：ConvMixer的启示
ConvMixer使用标准卷积混合图像块，在相似参数和数据集下胜过ViT、MLP-Mixer及ResNet。这表明卷积操作在视觉任务中仍具价值，与变换器结合可发挥优势。对于实践者，ConvMixer结构简单，易于实现，是探索卷积与自注意力混合架构的实用起点。
动态计算与多尺度：提升效率的关键路径
AdaViT通过自适应计算框架，在仅下降0.8%准确率的情况下提升推理效率；FlexiViT能动态调整patch size以适应不同计算预算；MPViT则利用多尺度特征表示超越前沿网络。这些工作共同指向一个趋势：视觉变换器正朝着动态、多尺度和高效的方向演进，为不同计算场景提供灵活选择。
Q&A
什么是Pooling-based Vision Transformer (PiT)模型？
PiT模型是一种基于降维思想的新型视觉变换器，实验表明其在图像分类、物体检测和模型鲁棒性方面优于原始的Vision Transformer模型。
ConvMixer模型的主要特点是什么？
ConvMixer模型使用标准卷积混合图像块，在参数计数和数据集大小相似的情况下，表现优于ViT、MLP-Mixer和经典的ResNet等视觉模型。
UViT架构在目标定位和实例分割任务中有什么优势？
UViT架构通过绕过传统设计思路，实现了更好的计算成本和多尺度全局上下文聚合的平衡，成为强大的基线。
AdaViT如何提高视觉变换器的推理效率？
AdaViT是一个自适应计算框架，仅有0.8%的准确率下降，并在不同计算预算条件下实现良好的效率与准确性平衡。
Hierarchical Visual Transformer (HVT)模型的作用是什么？
HVT模型通过逐步分池视觉标记来缩短序列长度，降低计算成本，从而改进图像分类任务的性能。
FlexiViT方法的优势是什么？
FlexiViT能够动态改变ViT模型输入的patch size，提高计算效率和精度，适用于多种基于ViT结构的计算任务。
