使用 SHAP 和 LIME 的可证明稳定特征排序
内容提要
该文综述了基于SHAP值的特征归因与解释方法，包括实例级特征重要性、分布感知SHAP、特征选择及变量重要性估计，比较了SHAP与LIME的一致性，提出了XAISuite开源库，并探讨了在XGBoost等模型中的应用，以提升模型可解释性与性能。
延伸解读
SHAP与LIME的一致性比较
文章指出，一项使用14种机器学习模型和4个数据集的研究比较了SHAP和LIME的解释一致性，得出两个结论：解释重要性的大小并不重要；SHAP和LIME重要性得分的相似度不能预测模型的准确性。这意味着在实际应用中，不应仅依赖解释方法之间的一致性来判断模型可靠性，而需结合其他评估手段。
SHAP在XGBoost中的应用价值
文章提到，将SHAP值作为唯一同时具有一致性和局部精度的加性特征归因方法，应用于XGBoost模型中，能够显著提高监督聚类性能和模型解释能力。这表明在树集成模型如XGBoost中，SHAP不仅能提供可靠的归因，还能间接提升无监督任务的表现。
分布感知SHAP与计算效率
文章综述了分布感知SHAP方法，如SHAP-KL和FastSHAP-KL，用于计算Shapley值。此外，LLpowershap利用基于损失的Shapley值进行特征选择，能识别更多信息特征并减少噪声。这些方法在保持解释性的同时，关注计算复杂度的降低，例如通过随机采样子集来加速变量重要性估计。
XAISuite与统一解释流程
文章介绍了XAISuite开源库，它为训练和解释模型提供统一流程，并提出了一个通用框架来更好地解释机器学习模型并优化性能。这有助于标准化可解释性实践，降低使用不同解释方法的门槛，促进可解释AI在现实任务中的集成。
Q&A
SHAP和LIME在解释一致性上有什么结论？
使用14种机器学习模型和4个数据集实验发现：解释重要性的大小不重要；SHAP和LIME重要性得分的相似度不能预测模型的准确性。
XAISuite是什么？
XAISuite是一个开源库，为训练和解释模型提供统一的流程，并提出了一个通用框架来更好地解释机器学习模型并优化它们的性能。
SHAP值在XGBoost模型中有哪些应用效果？
SHAP值作为唯一同时具有一致性和局部精度的加性特征归因方法，应用于XGBoost模型中能够显著提高监督聚类性能和模型解释能力。
LLpowershap特征选择方法有什么优势？
LLpowershap利用基于损失的Shapley值识别信息特征，与其他方法相比，能识别更多有信息特征且输出噪声特征较少。在四个真实世界数据集上，预测性能要么更高，要么与其他基于Shapley值的封装或过滤方法相当。
如何减少Shapley值变量重要性估计的计算复杂度？
提出基于Shapley种群变量重要性度量（SPVIM）的估计器，通过仅对指定数量的特征子集进行随机采样来减少计算复杂度，并证明了其在渐进意义下收敛的最佳速率，可以建立有效的置信区间和假设检验。
有哪些方法可以在多项式时间内准确计算SHAP值？
提出了多种方法，可以在多项式时间内准确计算SHAP值，适用于不同类型的模型结构信息，包括已知功能分解、已知模型顺序和未知模型顺序，这些方法在实际应用中计算效率高且准确性较高。
