SPiT：超像素驱动的非规则ViT标记化，实现更真实的图像理解 | ECCV 2024 - 晓飞的算法工程笔记

该文章介绍了一种新的视觉Transformer（ViT）架构，采用超像素非规则标记化策略提取图像特征。

传统的ViT架构使用基于网格的标记化方法，未考虑图像的语义内容。

提出的超像素非规则标记化策略将标记化与特征提取解耦，显著提升了归因真实性。

该方法在零样本无监督密集预测任务中提供了像素级的粒度，同时在分类任务中保持了良好的预测性能。

论文的主要贡献在于引入了一种新颖的标记化方法，强调了不同标记化策略的内在特性。

通过实验验证，超像素标记化作为模块化方案推广到ViTs，为视觉任务提供了更丰富的Transformer空间。

提出了一种高效的在线标记化方法，在训练和推理时间上具有竞争力。

超像素标记化提供了语义对齐的标记，具有像素级的粒度，显著提高了可解释性。

论文设计了实验以确保与知名基线进行公平比较，消除了特定架构或训练方案带来的混杂因素。

通过并行边收缩和动态适应图像复杂性，构建了有效的启发式超像素标记化器。

提出的特征提取方法包括颜色、纹理、形状、尺度和位置等属性的捕捉。

论文的框架是对标准ViT标记化的概括，展示了超像素标记化的优势。