令牌转换的重要性：为了视觉变换器的忠实后置解释
内容提要
本文介绍了一种新型视觉 Transformer 模型——token clustering transformer，能够有效提取不同区域特征，并在多个人体相关任务中表现优异。同时，研究探讨了视觉 Transformer 的解释性方法，提出了新的图像标记方案和多模态令牌融合方法，以提升模型的可解释性和性能。
延伸解读
令牌转换：提升视觉Transformer解释性的关键
文章指出，注意力权重作为解释探针并不可靠，因为不同令牌的信息流动混合会产生差异。注意力展开和注意力流方法通过近似计算相对于输入令牌的注意力权重，比原始注意力具有更高的输入梯度基于消融法重要性评分相关性。这表明令牌转换在生成忠实后置解释中起到核心作用，有助于更准确地理解模型决策。
从注意力到归因：ALTI方法的改进
ALTI方法考虑注意力模块（多头注意力、残差连接和层归一化），并定义新的度量来测量各层之间的令牌交互，从而提供更准确的输入归因分数。实验显示，ALTI比基于梯度的方法更好地解释模型预测，并提高了鲁棒性。这提示读者，在评估视觉Transformer解释性时，应关注令牌交互的度量方式，而非仅依赖注意力权重。
多模态令牌融合：TokenFusion的实践意义
TokenFusion方法在保持单模态Transformer结构基本不变的同时，学习多模态特征之间的相关性，并在三个典型视觉任务中超越最先进方法。这意味着令牌融合不仅能提升性能，还能维持模型结构的简洁性，为多模态视觉任务提供了一种高效且易于集成的解决方案。
Q&A
什么是token clustering transformer模型？
token clustering transformer是一种新型视觉Transformer模型，能够有效提取不同区域特征，并在多个人体相关任务中表现优异。
该模型在什么任务上表现优异？
该模型在ImageNet top-1和图像分割测试上表现优异，尤其是在人体相关任务中。
如何提升视觉Transformer的可解释性？
通过提出新的图像标记方案、注意力展开和注意力流方法，以及ALTI方法来增强模型的可解释性和鲁棒性。
什么是混合分辨率标记？
混合分辨率标记是一种新的图像标记方案，利用Quadtree算法和显著性评分器来提升图像分类效果。
ALTI方法的主要贡献是什么？
ALTI方法通过新的度量方法提供更准确的输入归因分数，从而增强模型的可解释性和鲁棒性。
多模态令牌融合方法的优势是什么？
多模态令牌融合方法（TokenFusion）在保持单模态Transformer结构的同时，学习多模态特征之间的相关性，超越了多个视觉任务中的最先进方法。
