本文提出了一种结合确定性方法与贝叶斯优化的概率线性搜索算法，利用高斯过程代理优化目标，消除了随机梯度下降学习率的定义。研究了多种算法的收敛性与复杂度，展示了在非凸问题中实现线性收敛率的有效性，并提出了新算法 AdaSPS 和 AdaSLS，以改进超参数化模型的训练效果。

该研究重新审视了双下降现象，探讨其发生条件，并引入类激活矩阵的概念和一种估计函数有效复杂性的方法，揭示超参数化模型在隐藏激活中展现出更明显和更简单的类别模式。通过全面分析并提供相应的实证证据来验证或反驳这些假设，旨在为双下降现象和良性超参数化提供新的洞察，并促进未来的探索。