MViT：性能杠杠的多尺度ViT | ICCV 2021 - 晓飞的算法工程笔记
原文中文，约4700字，阅读约需12分钟。
📝
内容提要
论文介绍了多尺度视觉Transformer模型MViT，该模型将多尺度特征与Transformer结合，逐层扩展特征复杂度并降低分辨率。在视频识别和图像分类任务中，MViT的表现优于单尺度ViT，显著提升了性能。通过多阶段设计和灵活的池化操作，优化了计算复杂度和内存需求。
❓
Q&A
MViT模型的主要特点是什么？
MViT模型结合了多尺度特征与Transformer，通过逐层扩展特征复杂度并降低分辨率，形成多尺度特征金字塔。
MViT在视频识别和图像分类任务中的表现如何？
MViT在视频识别和图像分类任务中均优于单尺度的ViT，显著提升了性能。
MViT是如何优化计算复杂度和内存需求的？
MViT通过多阶段设计和灵活的池化操作，优化了计算复杂度和内存需求。
多头池化注意(MHPA)在MViT中有什么作用？
MHPA实现了分辨率灵活的建模，降低了输入序列长度，从而提高了计算效率。
MViT如何处理不同分辨率和通道数的特征？
MViT包含多个不同分辨率和通道数的stage，逐层扩大通道容量，同时逐步池化输入到输出的分辨率。
在ImageNet图像分类任务中，MViT的表现如何？
在ImageNet图像分类任务中，MViT通过删除时间相关通道获得了显著增益。
🏷️
