Vision Mamba (Vim)笔记
💡
原文中文，约1700字，阅读约需4分钟。
📝
内容提要
Vision Mamba (Vim)与Vision Transformer (ViT)相似，但实现细节不同。Vim采用双向扫描机制，克服了单向读取的局限性。其Mamba层设计为成对结构，通过前向和后向层处理图像Patch，增强了模型的全局可见性。
🎯
关键要点
- Vision Mamba (Vim)与Vision Transformer (ViT)相似，但实现细节不同。
- Vim采用双向扫描机制，克服了单向读取的局限性。
- Vim的Mamba层设计为成对结构，通过前向和后向层处理图像Patch。
- Vim在代码中强制实现双向扫描，最后直接相加。
- Mamba层将24层分成12对，每对包含一个前向层和一个后向层。
- 图像Patch的展平过程采用行扫描和倒序序列。
- Vim的CLS处理策略与ViT有所不同，提供了两种策略。
❓
延伸问答
Vision Mamba (Vim)与Vision Transformer (ViT)有什么主要区别？
Vim与ViT在实现细节上有所不同，Vim采用双向扫描机制，而ViT是全局可见的单向模型。
Vim的双向扫描机制是如何实现的？
Vim在代码中强制实现双向扫描，通过前向和后向层处理图像Patch，最后将结果相加。
Vim的Mamba层是如何设计的？
Vim的Mamba层设计为成对结构，将24层分成12对，每对包含一个前向层和一个后向层。
Vim是如何处理图像Patch的？
Vim通过行扫描和倒序序列展平图像Patch，前向和后向层分别处理这些Patch。
Vim的CLS处理策略有哪些？
Vim的CLS处理策略与ViT不同，提供了两种处理策略供选择。
Vim的双向扫描机制解决了什么问题？
双向扫描机制克服了单向读取的局限性，使得模型能够同时看到之前和之后的像素。
➡️
