LeGrad：通过特征形成敏感度的视觉 Transformer 可解释性方法
内容提要
本文提出了一种名为ViT-ReciproCAM的视觉解释方法，旨在提高Vision Transformer（ViT）模型的可解释性。该方法通过激活令牌与网络预测的相关性生成显著性地图，表现优于现有方法。研究表明，ViT-ReciproCAM在理解和调试ViT模型方面具有良好的定位性能，尤其在医学影像学领域展现了潜力。
延伸解读
ViT-ReciproCAM 的核心优势
ViT-ReciproCAM 是一种梯度无关的视觉解释方法，它不依赖注意力矩阵或梯度信息，而是通过激活令牌与网络预测之间的相关性生成显著性地图。这种设计使其在 ADCC 指标上优于现有最先进的相关性方法，同时实现高效且易于部署，为 ViT 模型的可解释性提供了新的替代方案。
在医学影像领域的应用潜力
文章指出，ViT-ReciproCAM 在医学影像学领域展现了潜力。医学影像通常需要高精度的定位和可靠的解释，该方法能够生成更局部化的显著性地图，有助于理解和调试 ViT 模型在医学图像分析中的决策过程，为临床辅助诊断提供更透明的依据。
与现有解释方法的比较
与基于梯度的反演攻击方法（如 GradViT）和逐层相关传播法（LRP）相比，ViT-ReciproCAM 无需计算梯度或注意力矩阵，避免了这些方法可能带来的计算开销和脆弱性。实验表明，它在弱监督定位任务中胜过了之前领先的解释方法，并能捕获目标类对象的完整实例。
Q&A
ViT-ReciproCAM方法的主要功能是什么？
ViT-ReciproCAM方法旨在提高Vision Transformer模型的可解释性，通过激活令牌与网络预测的相关性生成显著性地图。
ViT-ReciproCAM与其他解释方法相比有什么优势？
ViT-ReciproCAM在ADCC指标上优于现有最先进的相关性方法，表现出更好的定位性能。
该方法在医学影像学领域的应用效果如何？
ViT-ReciproCAM在医学影像学领域展现了良好的定位性能，能够有效理解和调试ViT模型。
ViT-ReciproCAM方法的实现是否复杂？
该方法不需要关注矩阵和梯度信息，提供了一种高效易实现的生成视觉解释的替代方法。
ViT-ReciproCAM是如何生成显著性地图的？
ViT-ReciproCAM通过利用激活的令牌与网络预测之间的相关性来生成显著性地图。
ViT-ReciproCAM在弱监督定位任务中的表现如何？
ViT-ReciproCAM在弱监督定位任务中表现优于之前领先的解释方法，具备捕获目标类对象的完整实例的能力。
