视觉 Transformer 中的注意力图统计检验
原文中文,约300字,阅读约需1分钟。发表于: 。在这项研究中,我们提出了一种用于 Vision Transformer 的注意力的统计测试方法,通过选择性推理的框架,我们量化了注意力的统计显著性,并将其用于脑图像诊断的应用,以可靠的定量证据指示 Vision Transformer 的决策过程。
本文介绍了一种新方法,用于生成用于3D物体检测的DetR-like ViT的显著性图。该方法基于原始注意力,比基于梯度的方法更高效。通过在nuScenes数据集上的测试,证明了该方法在视觉质量和定量指标方面优于其他可解释性方法。研究还展示了在转换器的不同层之间聚合注意力的重要性。这项工作有助于开发可解释的AI模型,提高人们对AI应用的信任。