重新审视事后可解释性方法的健壮性
内容提要
本文讨论了后续解释方法在模型解释中的重要性，评估了不同方法的可靠性和可理解性。研究表明，SHAP和Attri-Net在识别错误模型行为方面表现最佳，并提出了改进可理解性和可预测性的设计建议。
延伸解读
可靠性评估的量化工具
文章提到使用心理度量学中的Krippendorf's alpha来量化图像分类后置解释方法的可靠性，并据此提出模型训练改进方法，如使用扰动样本和焦点损失函数。这为评估解释方法提供了可量化的指标，有助于推动更可靠的评估实践。
SHAP的局限性：决策边界附近的解释可理解性下降
研究发现，SHAP在接近模型决策边界的样本上提供的解释可理解性显著降低。这意味着在模型决策不确定的区域，用户可能更难理解SHAP的解释。因此，在实际应用中，对于边界样本的解释需要谨慎对待，可能需要结合其他方法或提供额外信息。
识别错误模型行为的有效方法
在胸部X射线诊断任务中，评估了五种事后解释技术和一种固有可解释方法对人为添加的混淆因素的识别能力，发现SHAP和Attri-Net表现最佳，能可靠识别错误的模型行为。这表明在医疗影像等高风险领域，选择适当的解释方法有助于发现模型潜在的错误关联。
数据增强下解释稳定性的挑战
研究显示，不同的可解释性方法对数据增强的稳定性存在显著差异，且无论训练中是否使用数据增强，解释在增强方面的稳健性通常不如分类性能。这提示我们，在评估解释方法时，需考虑数据变换的影响，解释的稳定性可能成为实际部署中的一个风险点。
Q&A
后续解释方法在模型解释中有什么重要性？
后续解释方法能够有效传达模型的决策，帮助用户理解模型的行为。
SHAP和Attri-Net在模型解释中表现如何？
SHAP和Attri-Net在识别错误模型行为方面表现最佳，能够可靠地识别模型的错误。
如何量化图像分类后置解释方法的可靠性？
使用Krippendorf's alpha量化图像分类后置解释方法的可靠性。
SHAP在接近模型决策边界时的表现如何？
SHAP在接近模型决策边界的样本解释可理解性显著降低。
文章中提出了哪些改进可理解性和可预测性的建议？
文章提出了增加可理解性和可预测性的设计建议，以改善未来的事后解释方法。
后续可解释性方法的研究结果对未来有什么影响？
研究结果为未来的事后解释方法提供了改进的方向，强调了可理解性和可预测性的重要性。
