提升算法的最佳并行化
原文中文,约300字,阅读约需1分钟。发表于: 。本研究解决了提升算法在并行复杂性方面理论下限与算法性能之间的显著差距问题。通过提供改进的并行复杂性下限和一种并行提升算法,研究展示了这一算法在整个训练轮次与每轮总并行工作量的权衡中性能匹配这些下限。最终,这项工作确立了近似样本最优的提升算法的真实并行复杂性。
本文介绍了梯度提升方法,通过解决无限维凸优化问题生成简单预测器构成的模型。分析了两个梯度提升版本,并从函数优化的角度引入了通用框架。证明了它们在迭代次数趋近于无穷时的收敛性,并强调了强凸风险函数的重要性。提供了一个合理的统计环境,确保在样本大小增长时提高了预测器的一致性。