GBM与XGBoost均为基于提升法的集成学习算法，通过依次训练弱学习器并纠正前一轮错误来构建强模型。XGBoost在GBM基础上做了多项改进：引入L1/L2正则化防止过拟合，支持并行化加速建树，内置缺失值处理（稀疏感知分裂查找），采用后剪枝策略而非提前停止，并内置交叉验证。这些改进使XGBoost在性能和速度上优于GBM。

本文评估了贝叶斯加性回归树（BART）与其他方法在处理二进制结果时的效果。结果显示BART、TMLE和采用GBM的IPTW在处理非线性和非可加性情况下具有更好的性能。同时，提出了一种用于特定处理的共同支持区域的方法来获得更好的外推结果和保持推断。

本文介绍了在Bregman近端算法框架下适配梯度提升机算法，并提出了具有全局最优性保证的Bregman原始-对偶方法。该算法能够与XGBoost和LightGBM无缝集成，并在约束学习任务中证明了其有效性。该框架在约束学习应用领域具有潜力。