本文提出了一种结合确定性方法与贝叶斯优化的概率线性搜索算法，利用高斯过程优化目标，消除随机梯度下降中的学习率定义。研究了自适应采样算法的泛化误差，并提出了多层蒙特卡罗渐进优化方法，分析了具有有界更新的迭代学习算法的泛化特性，展示了在不同设置下的改进界限。此外，介绍了一种数据驱动的方法，为经典和学习优化器提供了强泛化保证。

本文提出了一种结合确定性方法与贝叶斯优化的概率线性搜索算法，利用高斯过程代理优化目标，消除了随机梯度下降学习率的定义。研究了多种算法的收敛性与复杂度，展示了在非凸问题中实现线性收敛率的有效性，并提出了新算法 AdaSPS 和 AdaSLS，以改进超参数化模型的训练效果。