SIDEs: 在 xAI 中将理想化与欺骗性解释分开
内容提要
这篇论文探讨了可解释人工智能（XAI）的重要性及其挑战，提出了使用规范方程和合成数据评估模型准确性的方法。研究分析了不同算法生成的解释之间的异议，呼吁提高算法决策透明度，并提出了新型反事实路径生成方法，以改善模型解释的直观性和可解释性。
延伸解读
XAI 的两种文化：人本与模型验证
文章将可解释人工智能的目标分为两种互补文化：人/价值导向的解释（蓝色 XAI）和模型/验证导向的解释（红色 XAI）。红色 XAI 目前尚未得到充分开发，但其中蕴藏着巨大机遇和重要研究潜力，对于确保人工智能系统的安全至关重要。这一分类有助于研究者明确不同解释方法的目标和适用场景。
反事实解释的异议问题与透明度
针对反事实解释中存在的高度异议问题，一项大规模实证研究发现不同算法生成的解释之间存在显著差异。这呼吁更多关于算法决策透明度的讨论和实验研究。读者应注意，解释的不一致性可能影响用户信任，因此在实际应用中需谨慎选择解释算法并评估其稳定性。
欺骗性解释的检测与防御
研究显示，欺骗性解释可以骗过人类，但可以使用机器学习方法检测，即使缺乏领域知识，也能以无监督的方式推断解释的不一致性。此外，对 50 多篇相关研究的综述提出了现有 XAI 不安全因素的列表，并概述了对抗性可解释人工智能（AdvXAI）的新兴研究方向。这提醒我们，解释本身也可能成为攻击面，需要设计稳健的防御方法。
反事实路径生成提升可解释性
一种基于条件置换生成反事实路径的新型 XAI 方法，可以在知识图谱中识别与模型预测最相关的特征或特征组合，提供比传统特征加权方法更直观和可解释的模型行为解释，并有助于发现和减轻模型中的偏差。这一方法为提升解释的直观性和可解释性提供了新思路。
Q&A
可解释人工智能（XAI）面临哪些主要挑战？
可解释人工智能面临的主要挑战包括误解、透明度不足和不同算法生成的解释之间的高度异议。
如何评估可解释人工智能模型的准确性？
可以使用规范方程和合成数据来评估可解释人工智能模型的准确性。
什么是反事实路径生成方法，它有什么优势？
反事实路径生成方法是一种新型的可解释性方法，能够更直观地解释模型行为，并帮助发现和减轻模型中的偏差。
文章中提到的对抗性可解释人工智能（AdvXAI）是什么？
对抗性可解释人工智能（AdvXAI）是一个新兴的研究方向，旨在解决现有可解释人工智能的不安全因素。
为什么需要提高算法决策的透明度？
提高算法决策的透明度可以减少不同算法生成的解释之间的异议，增强用户对模型的信任。
可解释人工智能的未来研究方向有哪些？
未来的研究方向包括深入开发红色XAI领域，确保人工智能系统的安全，以及探索新的解释方法。
