本文探讨了修正线性单元（ReLU）网络的表现力及其决策边界，证明了两层ReLU网络的决策边界可被阈值网络捕捉，并提出了减少隐藏单元数量的系数条件。实验验证了ReLU网络的学习能力，并提出了一种新的随机梯度下降算法，证明其在单隐藏层ReLU网络中能达到全局最优性。

本文介绍了在Bregman近端算法框架下适配梯度提升机算法，并提出了具有全局最优性保证的Bregman原始-对偶方法。该算法能够与XGBoost和LightGBM无缝集成，并在约束学习任务中证明了其有效性。该框架在约束学习应用领域具有潜力。