Vision Mamba (Vim)笔记
💡
原文中文，约1700字，阅读约需4分钟。
📝
内容提要
Vision Mamba (Vim)与Vision Transformer (ViT)相似，但实现细节不同。Vim采用双向扫描机制，克服了单向读取的局限性。其Mamba层设计为成对结构，通过前向和后向层处理图像Patch，增强了模型的全局可见性。
🎯
关键要点
- Vision Mamba (Vim)与Vision Transformer (ViT)相似，但实现细节不同。
- Vim采用双向扫描机制，克服了单向读取的局限性。
- Vim的Mamba层设计为成对结构，通过前向和后向层处理图像Patch。
- Vim在代码中强制实现双向扫描，最后直接相加。
- Mamba层将24层分成12对，每对包含一个前向层和一个后向层。
- 图像Patch的展平过程采用行扫描和倒序序列。
- Vim的CLS处理策略与ViT有所不同，提供了两种策略。
➡️
