PVT：特征金字塔在Vision Transormer的首次应用，又快又好 | ICCV 2021 - 晓飞的算法工程笔记
内容提要
论文提出了一种用于密集预测任务的纯Transformer主干网络PVT，结合特征金字塔结构和空间缩减注意力层，能够在有限资源下生成高分辨率和多尺度特征图。实验结果表明，PVT在物体检测和语义分割任务中优于传统的CNN主干网络。
延伸解读
PVT如何解决ViT在密集预测中的瓶颈
ViT在图像分类上表现良好，但直接用于目标检测和分割等密集预测任务存在困难。PVT通过引入渐进收缩的特征金字塔结构，生成多尺度特征图，并采用空间缩减注意力（SRA）层降低高分辨率特征图的计算和内存开销，从而成为CNN在密集预测任务中的替代方案。
空间缩减注意力（SRA）的设计与效率
SRA在注意力操作前对key和value进行空间缩减，将特征序列的维度降低，从而大幅减少计算和内存成本。具体通过reshape和线性映射实现，缩减比例为R_i，使得计算和内存成本比标准多头注意力低R_i^2倍，适合处理高分辨率特征图。
PVT的模型变体与参数对标
PVT设计了Tiny、Small、Medium和Large四种尺度，参数量分别对标ResNet18、50、101和152。这种设计遵循ResNet规则，在浅层使用较小输出通道，中间层集中主要计算资源，便于在相同参数规模下与CNN主干网络进行公平比较。
PVT在下游任务中的表现与意义
实验表明，在目标检测和语义分割任务中，相同参数数量下PVT优于传统CNN主干网络。PVT可无缝集成到RetinaNet、Mask R-CNN和Semantic FPN等框架中，展示了纯Transformer主干在密集预测任务中的潜力，为后续研究提供了新方向。
Q&A
PVT是什么？
PVT是用于密集预测任务的纯Transformer主干网络，结合特征金字塔结构和空间缩减注意力层。
PVT如何生成多尺度特征图？
PVT通过特征金字塔结构生成四个不同尺寸的特征图，并使用渐进收缩策略控制特征图的尺寸。
PVT在物体检测和语义分割中的表现如何？
PVT在物体检测和语义分割任务中表现优于传统的CNN主干网络。
PVT与传统CNN的主要区别是什么？
PVT使用纯Transformer架构和特征金字塔结构，而传统CNN依赖卷积层来生成多尺度特征图。
PVT的空间缩减注意力层有什么优势？
空间缩减注意力层降低了计算和内存开销，适用于处理高分辨率特征图。
PVT的不同版本参数量如何？
PVT设计了不同尺度的版本，参数量分别对标ResNet18、50、101和152。
