BriefGPT - AI 论文速递
·
LeGrad：通过特征形成敏感度的视觉 Transformer 可解释性方法
💡
原文中文，约400字，阅读约需1分钟。
📝
内容提要
该文章介绍了一种名为LeGrad的解释性方法，用于增强Vision Transformers（ViTs）的可解释性。该方法使用自我注意机制计算与ViT层的注意力图相关的梯度，并将梯度作为解释性信号。通过聚合所有层的信号，并结合最后一个标记和中间标记的激活，生成合并的解释性图。该方法在分割、扰动和开放词汇的场景中进行了评估，展示了其优越的空间保真度和对扰动的鲁棒性。
🎯
关键要点
-
提出了一种名为LeGrad的解释性方法，专门针对Vision Transformers（ViTs）。
-
LeGrad使用自我注意机制计算与ViT层的注意力图相关的梯度，并将其作为解释性信号。
-
通过聚合所有层的信号，结合最后一个标记和中间标记的激活，生成合并的解释性图。
-
LeGrad被评估在分割、扰动和开放词汇的场景中，展示了其优越的空间保真度和对扰动的鲁棒性。
-
与其他先进的解释性方法相比，LeGrad展示了更好的多功能性。
🏷️
标签
➡️
