在梯度提升树中实现本地可解释性：特征贡献
内容提要
本文综述梯度提升决策树（GBDT）的多项研究，涵盖：生成局部对抗解释以理解黑盒预测；基于前向特征选择的可扩展GBDT，支持多任务特征选择；结合博弈论与交互效应提升树模型可解释性并用于医疗问题；改进差分隐私GBDT训练以提升精度；提出无偏增益度量解决分裂偏差；构建多层GBDT森林学习分层表示；将GBDT用于自然语言推断；识别影响力训练样本；提出块分布式GBT降低通信成本；以及用SHAP值统一解释树集成模型。
延伸解读
本地解释与对抗解释的互补价值
文章提到，对于正确预测的实例，可以生成对抗解释来研究模型的敏感性。这种方法与传统的局部解释不同，它通过寻找使预测发生变化的微小扰动，揭示模型决策边界附近的脆弱性。对于需要理解模型在特定样本上为何做出预测的读者，对抗解释提供了另一种视角，有助于发现潜在的不稳定因素。
可扩展性与多任务特征选择的实践意义
基于前向特征选择的GBDT方法通过群体测试过程，在高维数据下仍能保持良好性能，并支持多任务学习，允许同时选择通用特征和任务特定特征。这对于搜索、推荐等需要处理大量特征且存在多个相关任务的场景具有实用价值，能在保证模型效果的同时显著减少训练时间。
医疗场景中的可解释性需求与实现
文章将博弈论、局部交互效应和全局模型结构结合，应用于三个医疗机器学习问题，识别出非线性死亡风险因素和慢性肾脏疾病风险因素间的交互作用。这表明在医疗等高风险领域，可解释性不仅需要局部归因，还需结合全局结构来发现亚组和监测模型性能衰减，为部署可靠的临床决策支持系统提供基础。
差分隐私与模型精度的平衡策略
针对差分隐私GBDT，文章通过改进灵敏度限制和树间隐私预算分配算法，在保持隐私保护的同时提升模型准确性。这对于需要在敏感数据上训练模型又需满足隐私法规的应用至关重要，说明隐私保护不一定以大幅牺牲精度为代价，合理的预算分配和灵敏度控制是关键。
Q&A
梯度提升决策树（GBDT）的本地可解释性是什么意思？
本地可解释性是指针对单个预测实例，解释模型为何做出该预测。在GBDT中，可以通过生成对抗解释来研究模型对正确预测实例的敏感性，从而理解黑盒模型的预测。
如何为GBDT模型生成对抗解释？
一种方法是对正确预测的实例生成对抗解释，通过扰动特征来观察模型预测的变化，从而研究模型的敏感性。这种方法可以在保持原有结构和准确性的情况下为GBDT提供解释。
SHAP值在解释树集成模型时有什么优势？
SHAP值被提出作为唯一一致且本地精确的归因值方法，用于解释树集成模型（如梯度提升机和随机森林）的结果。它通过丰富的可视化改进归因总结和偏关系图，并提出了一种独特的“受监督”聚类方法。
如何提高差分隐私GBDT模型的准确性？
通过改进灵敏度限制和树之间隐私预算的分配算法，提出一种更有效的差分隐私GBDT训练算法，从而在保持差分隐私保护的同时实现更高的模型准确性。
GBDT中的split finding算法存在什么偏差？如何解决？
GBDT中的split finding算法存在偏差问题。提出了新的无偏gain量度方法，并在UnbiasedGBM模型中应用。实验表明，UnbiasedGBM在60个数据集上表现更好，无偏gain在特征选择上也优于其他方法。
mGBDTs是什么？它有什么特点？
mGBDTs是一种多层GBDT森林算法，通过堆叠多层回归GBDTs作为构建块，探索学习分层表示能力。该模型可以通过变体的跨层目标传播进行联合训练，无需反向传播或可微分性，并在性能和表示学习能力方面得到了证实。
