可解释机器学习中 SHAP 评分的分布性不确定性
内容提要
本文综述Shapley值在机器学习可解释性中的应用，涵盖SHAP方法、特征贡献量化、相关特征处理及计算复杂度问题，并探讨其在协变量转移检测、主动学习等场景的应用及人本评估结果。
延伸解读
SHAP 计算复杂度：实际部署的瓶颈
文章指出，SHAP 解释在常见机器学习模型中的计算量很高，尤其在集成或深度学习模型上。这意味着在实际生产环境中，实时生成 SHAP 解释可能面临性能挑战。读者在采用 SHAP 时，需权衡解释精度与计算开销，考虑使用近似算法或采样方法，并评估是否满足业务对延迟的要求。
相关特征处理：SHAP 解释的争议与改进
文章提到，标准 SHAP 实现假设特征不相关，但这一假设常不成立，会导致解释错误。研究者提出了基于生成建模和学习 Shapley 价值函数两种策略。读者应注意，在特征高度相关的数据集中，直接使用默认 SHAP 可能产生误导，需选择合适的方法或进行特征工程，并关注无条件期望与条件期望的争论。
人本评估：SHAP 对决策的实际影响有限
文章引用的人本评估表明，SHAP 解释确实影响决策过程，但解释得分的置信度仍是主要证据来源。当提供提示信息时，警报处理性能并未显著提升。这提示读者，SHAP 虽能提供洞察，但不应过度依赖，需结合领域知识和模型置信度，并针对具体任务验证其有效性。
分布外观察：SHAP 解释的精度局限
文章指出，对于训练数据分布外部的观察，Shapley 值解释的精度较低，且这一问题在文献中未得到系统解决。读者在应用 SHAP 时，需警惕模型在边缘或异常样本上的解释可靠性，避免基于不可靠的解释做出关键决策，并考虑结合其他解释方法或进行不确定性量化。
Q&A
SHAP 是什么？它如何解释机器学习模型的预测？
SHAP（Shapley Additive Explanations）是一种基于 Shapley 值的可解释性方法，通过为每个特征指定一个重要性值来解释模型的预测。它源自博弈论中的 Shapley 值，用于量化每个特征对模型输出的贡献。
SHAP 解释在计算复杂度上有什么问题？
SHAP 解释在常见机器学习模型中的计算量很高，其计算复杂度是一个困难点。研究在三个重要场景下探究了该问题，表明计算成本是 SHAP 应用的一个显著挑战。
SHAP 如何处理特征之间的相关性？
SHAP 通常假设特征不相关，但这一假设不切实际。有研究提出了两种策略：基于生成建模的方法提供灵活的数据归因，另一种直接学习 Shapley 价值函数，提供性能和稳定性但缺乏灵活性。此外，有研究建议根据 Pearl 的因果工作澄清删除特征的正确概率分布，认为无条件的期望是正确的删除特征概念。
SHAP 解释在哪些应用场景中可以使用？
SHAP 解释可用于协变量转移检测、主动学习、特征选择和主动特征值获取等场景。此外，它也被用于解释模型输出的不确定性，通过量化每个特征对个体模型输出的条件熵的贡献。
SHAP 解释对人类决策有什么实际影响？
人本评估研究表明，SHAP 解释确实影响决策过程，但该方法得分的置信度仍然是主要的证据来源。在实验中，当提示信息可用时，与不提供提示信息相比，在警报处理性能方面并没有明显差异。
SHAP 解释在训练数据分布边缘的观测上表现如何？
对于训练数据分布边缘的观测，Shapley 值解释的精确度较低，这一问题在 Shapley 值文献中尚未得到系统性的解决。
