FovEx：用于视觉变换器和卷积神经网络的人类启发式解释
内容提要
本文探讨了通过微调输入图像来操作图像识别的解释方式，提出了Adversarial XAI算法AttaXAI，能够在黑盒环境下实现特定解释。研究结合人类注意力知识，增强计算机视觉模型的合理性与可靠性，并提出基于优化技术的可视化解释方法，提供细粒度的图像细节证据。
延伸解读
黑盒攻击解释的潜在风险
AttaXAI算法表明，仅通过微调输入图像，就能在无梯度、无模型内部信息的黑盒设置下操纵XAI方法的输出，使解释指向特定目标。这意味着依赖解释进行决策的场景（如医疗影像、自动驾驶）可能面临解释被恶意误导的风险，削弱了XAI作为可信工具的基础。
融合人类注意力提升可靠性
研究将人类注意力知识融入基于显著性的XAI方法，通过可训练激活函数和平滑核最大化显著图与人类注意图的相似性，在物体检测模型中同时提高了可靠性和合理性。这提示未来XAI评估可引入人类认知作为参照，而不仅依赖数学指标。
ViT解释方法的比较与进展
在医学影像领域，Transformer的逐层相关传播法在准确可靠表示ViT所学内容上，胜过模型不可知方法和注意力可视化。同时，PACE等概率概念解释器为ViT提供可信的事后概念解释，并在定义需求上优于现有方法，显示ViT解释正走向专门化。
可视化解释的验证与优化
基于优化技术的可视化解释方法通过过滤梯度防止对抗证据，提供细粒度图像细节证据，并可跨模型和数据集进行定性与定量评估。这为验证神经网络解释的鲁棒性提供了新思路，但需注意其计算成本及对超参数的敏感性。
Q&A
AttaXAI算法的主要功能是什么？
AttaXAI算法能够在黑盒环境下操作解释方法，而无需使用梯度或模型内部信息。
如何通过微调输入图像来影响图像识别的解释？
通过微调输入图像，可以演示图像识别的解释方式的任意操作。
该研究如何增强计算机视觉模型的合理性与可靠性？
研究结合人类注意力知识，增强计算机视觉模型的合理性与可靠性。
可视化解释方法的主要特点是什么？
该方法基于优化技术，提供细粒度的图像细节证据，并可针对多个模型和数据集进行评估。
研究中提到的对抗证据是如何处理的？
该方法通过过滤梯度来防止对抗证据的影响。
该研究对神经科学和机器学习的贡献是什么？
研究展示了人类和计算机视觉的并行分析为神经科学和机器学习社区提供了有价值的信息。
