Vision Mamba (Vim)笔记
内容提要
Vision Mamba (Vim)与Vision Transformer (ViT)相似，但实现细节不同。Vim采用双向扫描机制，克服了单向读取的局限性。其Mamba层设计为成对结构，通过前向和后向层处理图像Patch，增强了模型的全局可见性。
关键要点
-
Vision Mamba (Vim)与Vision Transformer (ViT)相似，但实现细节不同。
-
Vim采用双向扫描机制，克服了单向读取的局限性。
-
Vim的Mamba层设计为成对结构，通过前向和后向层处理图像Patch。
-
Vim在代码中强制实现双向扫描，最后直接相加。
-
Mamba层将24层分成12对，每对包含一个前向层和一个后向层。
-
图像Patch的展平过程采用行扫描和倒序序列。
-
Vim的CLS处理策略与ViT有所不同，提供了两种策略。
延伸解读
双向扫描机制的优势
Vision Mamba (Vim)通过双向扫描机制克服了传统单向读取的局限性。这种设计使得模型在处理图像时能够同时关注前后文信息，从而提高了对图像细节的理解和全局可见性。相比于ViT，Vim在复杂场景下可能表现得更为出色，尤其是在需要捕捉长距离依赖关系的任务中。
Mamba层的成对设计
Vim的Mamba层采用成对结构，将24层分为12对，每对包含前向层和后向层。这种设计不仅增强了模型的表达能力，还提高了计算效率。通过并行处理前向和后向信息，Vim能够更快地完成图像Patch的处理，适合需要实时反馈的应用场景。
CLS处理策略的多样性
Vim在CLS处理策略上提供了两种选择，这为模型的灵活性和适应性提供了更多可能性。不同的策略可以根据具体任务的需求进行选择，从而优化模型的性能。这种灵活性使得Vim在多种应用场景中都能展现出良好的适应能力。
延伸问答
Vision Mamba (Vim)与Vision Transformer (ViT)有什么主要区别？
Vim与ViT在实现细节上有所不同，Vim采用双向扫描机制，而ViT是全局可见的单向模型。
Vim的双向扫描机制是如何实现的？
Vim在代码中强制实现双向扫描，通过前向和后向层处理图像Patch，最后将结果相加。
Vim的Mamba层是如何设计的？
Vim的Mamba层设计为成对结构，将24层分成12对，每对包含一个前向层和一个后向层。
Vim是如何处理图像Patch的？
Vim通过行扫描和倒序序列展平图像Patch，前向和后向层分别处理这些Patch。
Vim的CLS处理策略有哪些？
Vim的CLS处理策略与ViT不同，提供了两种处理策略供选择。
Vim的双向扫描机制解决了什么问题？
双向扫描机制克服了单向读取的局限性，使得模型能够同时看到之前和之后的像素。
