VMamba：视觉状态空间模型
内容提要
该文综述视觉Transformer研究进展，涵盖Vim双向状态空间模型（在分类、检测、分割任务上优于DeiT且更高效）、Context Broadcasting（提升模型容量与泛化能力）、面向移动端的轻量通用模型MobileViT、采用循环权重共享与身份移位稳定训练的ViTAS、探索全局上下文用于密集预测的SETR、实现多尺度特征表示的MPViT，以及视觉导航应用与正向缩放律。
延伸解读
Vim 的效率优势来自状态空间模型
文章指出 Vim 采用双向状态空间模型对图像序列进行标记并压缩视觉表示，在 ImageNet 分类、COCO 检测和 ADE20k 分割上性能超过 DeiT 等常见视觉 Transformer，同时计算和内存效率显著提高。这说明状态空间模型可作为自注意力之外的一条替代路线，尤其适合对效率敏感的场景，但文中未给出具体速度或内存数值。
Context Broadcasting 回应自注意力密度问题
文章提到研究通过分析 Vision Transformer 中 self-attention 机制的密度，得出密集交互对模型的重要性，并提出 Context Broadcasting 来提升模型容量和泛化能力。这提示读者：ViT 的性能与 token 间信息交互的充分程度相关，而 CB 是一种在不改变主干结构的前提下增强交互的设计思路，具体增益幅度文中未量化。
轻量化与架构搜索面向部署约束
MobileViT 将 transformers 视为卷积，面向移动设备，在包括目标检测在内的任务上优于 CNN 和 ViT；ViTAS 则用循环权重共享和身份移位解决目标嵌入失衡，并配合弱数据增强与规范化稳定训练。两者分别从轻量通用设计和架构搜索角度回应实际部署中的算力与训练稳定性问题，但文章未披露参数量、延迟等具体指标。
密集预测与多尺度是 ViT 扩展的关键方向
SETR 首次探索 ViT 的全局上下文学习潜力用于密集视觉预测，把图像编码为补丁序列以捕获长距离依赖，在 ADE20K 和 Pascal Context 上表现突出；MPViT 则通过重叠卷积补丁嵌入和多分支设计获得多尺度特征。文章还提到视觉导航中基于 ViT 的通用架构首次展现正向缩放律，说明 ViT 的适用面正从分类向分割、导航等任务延伸。
Q&A
Vim模型是什么？它在哪些任务上表现优于DeiT？
Vim是一种新的通用计算机视觉基础模型，采用双向状态空间模型对图像序列进行标记并压缩视觉表示。它在ImageNet分类、COCO目标检测和ADE20k语义分割任务上取得了比DeiT等常见视觉转换器更高的性能，同时具有显著提高的计算和内存效率。
Context Broadcasting (CB) 方法解决了什么问题？效果如何？
CB方法通过研究Vision Transformers中self-attention机制的密度，发现了密集交互对模型的重要性，并提出一种新方法有效提高了模型的容量和泛化能力。
MobileViT为什么适合移动设备？它在哪些任务上表现好？
MobileViT是一种轻量级通用视觉变换器，将transformers视为卷积，因此可用于移动设备。它取得了比CNN和ViT更好的性能，特别是在对象检测任务上。
ViTAS方法如何解决训练中的不平衡问题？
ViTAS使用循环权重共享机制和身份移位来解决目标嵌入的失衡问题，并辅以弱数据增强和规范化技术，从而获得稳定的训练结果。实验证明，与其他常用方法相比，ViTAS取得了极高的性能提升。
SETR如何利用全局上下文进行密集预测？在哪些数据集上表现突出？
SETR首次探索视觉变换器（ViT）的全局上下文学习潜力以实现密集视觉预测，将图像编码为一系列补丁并学习全局上下文，使ViT可以捕获更强的长距离依赖信息。它在ADE20K和Pascal Context数据集上取得了出色表现。
MPViT如何实现多尺度特征表示？它的性能如何？
MPViT通过使用重叠卷积视觉patch嵌入同时为不同尺度的feature生成令牌，将令牌按比例分为多个分支，并对分支进行处理，从而获得丰富的、多尺度的特征表示。它在各项指标上均优于当前其他前沿网络，具有广泛的应用前景。
在视觉导航任务中，该通用架构取得了什么成果？
该通用神经网络架构由任务无关的组件组成，在ImageNav和ObjectNav任务上实现了最新成果，无需任何任务特定的模块。它基于自监督学习和视觉变压器预训练模型构建，在ViT修补表示上操作一个压缩层以保留空间信息，并改进策略训练，首次在视觉导航任务中展现了正向缩放律。
