GBM 和 XGBoost 到底有什么区别？
内容提要
GBM与XGBoost均为基于提升法的集成学习算法，通过依次训练弱学习器并纠正前一轮错误来构建强模型。XGBoost在GBM基础上做了多项改进：引入L1/L2正则化防止过拟合，支持并行化加速建树，内置缺失值处理（稀疏感知分裂查找），采用后剪枝策略而非提前停止，并内置交叉验证。这些改进使XGBoost在性能和速度上优于GBM。
延伸解读
正则化：XGBoost 防过拟合的关键
GBM 只关注最小化损失函数，没有内置正则化，容易过拟合。XGBoost 则引入了 L1（Lasso）和 L2（Ridge）正则化：L1 可将特征权重压缩至零，起到特征选择作用；L2 使系数均匀收缩，有助于处理多重共线性。两者结合让 XGBoost 在泛化能力上优于 GBM，尤其适合特征多、噪声大的数据集。
并行化与数据格式：速度优势的来源
GBM 训练通常较慢，而 XGBoost 在建树过程中实现了并行化，主要加速分裂点的寻找，并能利用所有可用处理核心。此外，XGBoost 开发者还设计了专用数据格式 DMatrix，提升内存效率并进一步缩短训练时间。因此，在数据量较大或需要快速迭代的场景中，XGBoost 的工程优化能带来明显的效率提升。
缺失值处理与剪枝策略的差异
GBM 需要用户自行处理缺失值，而 XGBoost 内置稀疏感知分裂查找，能自动学习缺失值的最佳分裂方向。在树生长策略上，GBM 遇到负损失即停止分裂，可能陷入局部最优；XGBoost 则先长到最大深度再后剪枝，并保留整体收益为正的负损失分裂，从而更全局地优化树结构。
内置交叉验证：训练中评估泛化
通常交叉验证需要额外编写代码，但 XGBoost 内置了交叉验证功能，可在每次提升迭代中执行，实时评估模型泛化能力并确保生成的树更稳健。这一特性让用户能在训练过程中直接监控过拟合风险，简化了工作流程，尤其适合需要快速验证模型效果的竞赛或实际项目。
Q&A
GBM和XGBoost有什么共同点？
两者都是基于提升（boosting）技术的集成学习算法，通过依次训练弱学习器（通常是决策树），每个学习器纠正前一个的错误，最终组合成强模型。
XGBoost如何防止过拟合？
XGBoost引入了L1（Lasso）和L2（Ridge）正则化。L1正则化倾向于将特征权重缩小到零，起到特征选择的作用；L2正则化则均匀缩小系数，有助于处理多重共线性。两者结合能有效惩罚复杂模型，防止过拟合。
XGBoost为什么比GBM训练更快？
XGBoost在训练过程中实现了并行化，尤其是在建树的分裂点查找阶段，能利用所有可用的处理核心加速。此外，它还使用专门的数据格式DMatrix来提高内存效率和训练速度。
XGBoost如何处理缺失值？
XGBoost内置了稀疏感知的分裂查找（Sparsity-aware Split Finding）技术。对于缺失值、密集零或独热编码等稀疏数据，模型会学习并自动为缺失值分配最佳的分裂方向，以最小化损失。
XGBoost的树剪枝策略和GBM有什么不同？
GBM采用提前停止策略，当分裂带来负损失时就停止分裂，可能导致局部最优。XGBoost则采用后剪枝：先让树生长到设定的最大深度，然后从后往前剪枝，移除负损失的分裂，但如果负损失分裂的后续分裂是正收益，则可能保留该分裂。
XGBoost内置的交叉验证有什么作用？
XGBoost内置了交叉验证功能，可以在训练过程中每个提升迭代时执行交叉验证，评估模型的泛化能力和鲁棒性，帮助检测过拟合，而无需依赖外部交叉验证工具。
