基于深度神经网络的入侵检测系统的可解释性的多元规则提取
内容提要
该文综述可解释人工智能在入侵检测等领域的应用，指出深度学习入侵检测系统多为黑盒、缺乏解释性。研究提出基于自组织映射的可解释入侵检测框架，生成统计与可视化解释，并介绍ECLAIRE规则提取、符号化解释、SHAP重训练、Greybox XAI及Ensemble XAI等方法，以提升模型透明度、可信度和预测效率。
延伸解读
从黑盒到可解释：入侵检测的透明度需求
文章指出，深度学习入侵检测系统常被视为黑盒，无法提供预测的合理解释。为此，研究者提出基于自组织映射的可解释框架，通过数据挖掘生成统计和可视化解释，在保持预测速度的同时提升解释力。这反映了安全领域对模型可信度的迫切需求，因为缺乏解释的告警难以被运维人员信任和采纳。
规则提取与符号化：让DNN决策可读
文章介绍了ECLAIRE规则提取算法，适用于大型DNN和训练数据集，并在乳腺癌预后和粒子探测任务上表现出超过现有技术的准确性和可理解性。此外，还有研究利用概念分析和归纳逻辑编程构建符号模型，实现黑盒机器学习的可解释性。这些方法试图将神经网络的隐式知识转化为人类可读的规则，但需注意其在不同任务上的泛化能力尚未在入侵检测场景中充分验证。
SHAP重训练与Greybox XAI：提升透明度的实践路径
文章提到，基于SHAP值的重训练流程能提高模型透明度和可信度，在人数统计和图像分类任务上分别提升4%和3%的准确率。Greybox XAI框架则通过符号知识库将DNN与透明模型组合，形成可解释的预测模型。这些方法展示了可解释性技术不仅能解释预测，还可能反哺模型性能，但其在入侵检测中的实际效果仍需进一步评估。
可视化解释的整合与对抗风险
Ensemble XAI方法整合显著性地图、类激活映射和渐变-类激活映射，提供更全面的可视化解释，用于判断输入是否为伪造品。然而，文章也指出，即使只能访问模型最终输出，攻击者也能通过对抗性图像操纵活动识别模型的解释。这提醒我们，可解释性本身可能成为攻击面，在安全敏感场景中需同时考虑解释的鲁棒性。
Q&A
深度学习入侵检测系统为什么需要可解释性？
深度学习入侵检测系统通常被视为黑盒模型，无法提供预测的合理解释。因此需要设计可解释的入侵检测系统（X-IDS），以提升模型的透明度和可信度。
基于自组织映射的可解释入侵检测框架有什么特点？
该框架使用自组织映射、生长自组织映射和生长分层自组织映射等算法建模，能通过数据挖掘生成统计和可视化的解释，相比黑盒模型更具解释力并提高了预测速度。
ECLAIRE规则提取算法有什么优势？
ECLAIRE是一种基于多项式时间复杂度的规则提取算法，适用于大型DNN架构和大型训练数据集，并在乳腺癌预后和粒子探测等任务上表现出超过现有技术的准确性和可理解性。
如何利用符号化方法实现黑盒模型的可解释性？
该研究利用深度学习神经网络中学习到的内在特征，结合概念分析方法和归纳逻辑编程理论，构建基于符号的模型，从而实现黑盒机器学习的可解释性，体现透明度和可靠性的要求。
SHAP重训练流程如何提升模型性能？
该流程使用SHapley Additive explanations值进行重新训练，以增加模型的透明度和可信度。实验表明，在人数统计场景和图像分类数据集上，SHAP-based重训练方法比相等加权训练方法分别提高了4%和3%的准确率。
Greybox XAI框架是如何工作的？
Greybox XAI框架通过符号知识库将DNN和透明模型组合。先从数据集中提取知识库并训练透明模型（如逻辑回归），再在RGB图像上训练编码器-解码器架构以产生类似知识库的输出，最后组合两个模型形成可解释的预测模型，并在多个数据集上验证了准确性和可解释性。
Ensemble XAI方法是什么？
Ensemble XAI是一种新型可视化解释方法，它整合了显著性地图、类激活映射和渐变-类激活映射，以提供更全面的可视化解释，用于预测输入是否为伪造仿制品的深度学习模型。实验评估表明，该方法能准确说明模型的决策过程。
