PartFormer：唤醒来自视觉变换器的潜在多样表示用于对象重识别
内容提要
本文介绍了基于transformer的物体再识别方法TransReID，提出了新颖模块以增强对细节和视角的鲁棒性，并在多个数据集上取得最佳结果。同时，研究了Vision transformers的注意力崩溃问题，提出Re-attention方法以提升模型性能。此外，探讨了自动人体部位对齐、SSA自注意力策略及UniFormer模型在图像分类和目标检测中的优越表现。
延伸解读
注意力崩溃问题与Re-attention的改进
文章指出Vision Transformers存在注意力崩溃现象，即深层注意力权重趋于相似，损害模型性能。提出的Re-attention方法有效缓解该问题，使32层ViT在ImageNet上的Top-1准确率提升1.6%。这表明深度Transformer的注意力多样性对性能至关重要，Re-attention为设计更深模型提供了实用方案。
自动人体部位对齐与部位令牌
针对物体重识别中部位特征提取的难点，文章介绍了一种自动人体部位对齐方案，并引入“部位令牌”。这些令牌与自注意力机制结合，能与非人体部位一起处理，实现精确的部位特征提取和检索。该方法减少了对人工标注的依赖，提升了模型对部位变化的鲁棒性。
SSA自注意力策略的多尺度建模
SSA是一种新型自注意力策略，允许Vision Transformer在单个自注意力层中建模多种尺度特征。这种设计避免了多尺度处理带来的额外计算开销，并在多个任务上超越同类模型。SSA为Transformer高效处理尺度变化提供了新思路，尤其适用于需要同时捕捉细节和全局信息的重识别任务。
UniFormer融合CNN与ViT的优势
UniFormer将CNN和ViT的优点融合到一个Transformer模型中，支持图像分类、目标检测、语义分割和姿态估计等多种视觉任务。在无需额外训练数据的情况下，它在ImageNet-1K分类上达到86.3%的Top-1准确率，并在多项任务中取得最先进性能。这表明混合架构能有效结合局部卷积与全局注意力的优势。
Q&A
TransReID方法的主要特点是什么？
TransReID是一种基于transformer的物体再识别方法，通过新颖的模块提高对细节和视角的鲁棒性。
Vision transformers模型的注意力崩溃问题是什么？
注意力崩溃问题是指transformer模型越深层次的注意力权重变得越相似，影响模型性能。
Re-attention方法是如何提升模型性能的？
Re-attention方法通过解决注意力崩溃问题，使得32层的Vision transformers模型在分类准确率上提高了1.6%。
SSA自注意力策略的优势是什么？
SSA自注意力策略能够在单个自注意力层上建模多种尺度特征，超越同类模型的表现。
UniFormer模型的主要功能是什么？
UniFormer模型融合了CNN和ViT的优点，支持多种视觉任务，并在ImageNet-1K分类中取得86.3%的top-1准确率。
无监督部件特定注意力学习方法的贡献是什么？
该方法通过对成对图像进行几何变换提取多个部件表示，显著提高了部件发现的性能。
