表征的二重奏及解释的恶化
内容提要
该文综述可解释AI研究，指出解释会引入因果语义，导致决策者先验偏见泄漏并产生确认偏见，从而造成次优且有偏的决策。众包实验显示，解释对线性模型操纵有效，对BERT型分类器效果有限。多项研究表明，解释有时反而使决策更糟，且难以揭示间接偏见，并非改善公平性的可靠机制。反事实解释会影响人们的因果判断，不同算法生成的解释存在高度异议。
延伸解读
解释可能加剧决策偏见
文章指出，特征解释会引入因果语义，导致决策者的先验偏见泄漏并产生确认偏见，从而造成次优和有偏的决策。众包实验显示，解释对线性词袋模型操纵有效，但对BERT型分类器效果有限。多项人类实验也发现，属性解释法有时反而使决策更糟，挑战了其普遍益处的假设。
解释并非公平性的可靠机制
研究探讨了解释与分布式公平性之间的关系，发现解释会影响公平感知，进而与人类对AI建议的依赖关联，但基于特征的解释并不是改善分布式公正性的可靠机制。另有研究指出，解释可能无法揭示间接偏见，需通过模型偏见披露和代理特征相关性披露来改善公平性感知。
反事实解释的局限与异议
反事实解释会影响人们对预测特征因果性的判断，但指出AI只能捕捉相关关系而非因果关系可减轻其影响。大规模实证研究发现，不同算法生成的反事实解释之间存在高度异议，这呼吁更多关于算法决策透明度的讨论和实验研究。
Q&A
为什么机器学习中的解释有时反而会导致更差的决策？
因为解释会引入因果模型的语义，导致决策者的先验偏见泄漏，并产生确认偏见，从而造成次优和有偏的决策结果。
解释对线性模型和BERT型分类器的操纵效果有什么不同？
在给定特征系数的情况下，人们能更有效地操纵线性词袋模型，但解释对BERT型分类器并没有显著提高操纵能力；不过通过伪造BERT模型的线性模型的对全局归属的解释，则可以有效地操作BERT型模型。
解释能帮助减少AI系统中的偏见吗？
解释可能无法揭示间接偏见，因此不是改善公平性的可靠机制。需要通过模型偏见披露和代理特征相关性披露来改善模型公平性感知和决策公正性。
反事实解释如何影响人们对因果关系的判断？
提供AI系统预测的反事实解释会影响人们对于该预测所关联的特征是否具有因果性的判断。指出AI系统只能捕捉到相关关系而非因果关系可以减轻其影响。
不同算法生成的反事实解释存在什么问题？
不同算法生成的反事实解释之间存在高度异议，这被称为异议问题（the disagreement problem），呼吁更多关于算法决策透明度的讨论和实验研究。
在评估可解释AI方法时，为什么需要考虑个体的先验信仰？
因为评估中存在信仰偏见，考虑个体先验信仰对于正确评估解释性方法至关重要，基于梯度的解释性案例研究也表明了这一点。
