从黑箱深度神经网络中提取解释、证明和不确定性
内容提要
该论文综述了深度神经网络在机器学习中的应用，特别是在安全性决策领域。研究了可解释性人工智能（XAI），提出了提高模型解释稳健性的方法和框架，探讨了不确定性建模的挑战，并提出了新的可解释性学习方法，以增强深度学习模型的可解释性和抗干扰能力。
延伸解读
解释稳健性：从理论到实践
文章指出，提高模型解释的稳健性需要从训练方法、激活函数平滑以及网络Hessian最小化等多方面入手。这些技术旨在增强模型抗干扰能力，使解释结果更可靠。实验证实了这些方法的有效性，为安全关键领域（如医疗和控制系统）中深度学习的可信部署提供了重要支撑。
不确定性建模：连接预测与解释
文章设计了一种新颖的不确定性建模框架，能够在解释层中分配与最终预测置信度相关联的信心值，并生成高效预测集。该框架实现了分布无关的不确定性建模，理论分析和大量实验证明了其有效性。这有助于在解释中量化不确定性，提升决策可靠性。
可解释性方法在文本分类中的评估
文章探讨了适用于CNN文本分类的模型无关和模型特定解释方法，并通过三次人类评估揭示了这些方法在揭示模型行为、证明预测和帮助调查不确定预测方面的不同效果。结果表明，不同方法具有不同性质，可为不同目的提供帮助，为选择合适解释方法提供了依据。
解释的可操作性：对抗性攻击的警示
文章发现，通过微调输入图像，可以任意操纵图像识别的解释方式。提出的Adversarial XAI算法AttaXAI能在黑盒设置下，无需梯度或模型内部信息，成功操纵解释方法，使微小图像改变导致XAI输出特定解释。这警示了XAI方法本身可能被攻击，影响其可信度。
Q&A
深度神经网络在安全性决策中有哪些应用？
深度神经网络在控制系统和医疗应用等需要保证安全性的决策中有广泛应用。
可解释性人工智能（XAI）主要研究什么？
可解释性人工智能（XAI）主要研究如何解释深度神经网络的内部和整体行为。
论文中提出了哪些提高模型解释稳健性的方法？
论文提出了一种理论框架和三种技术，包括训练方法、激活函数的平滑和网络Hessian的最小化，以提高模型解释的稳健性。
如何解决深度神经网络的不确定性建模挑战？
通过设计一种新颖的不确定性建模框架，论文解决了深度神经网络在解释性方面的挑战，实现了分布无关的不确定性建模。
什么是可解释的几何深度网络？
可解释的几何深度网络是一种端到端学习方法，用于在高维数据中实现精细的可解释性，特别适用于神经成像和神经科学研究。
论文中提到的与贝叶斯神经网络正交的方法有什么特点？
该方法能够直接推断预测的不确定性，并在检测超出分布的查询和对抗性扰动方面取得了成功。
