本文提出了一种结合确定性方法与贝叶斯优化的概率线性搜索算法，利用高斯过程代理优化目标，消除了随机梯度下降学习率的定义。研究了多种算法的收敛性与复杂度，展示了在非凸问题中实现线性收敛率的有效性，并提出了新算法 AdaSPS 和 AdaSLS，以改进超参数化模型的训练效果。