本文提出了一种新的在线最小二乘法算法框架，适用于RKH空间中的非线性模型建模，通过核函数的傅里叶变换将数据映射到有限维空间。新算法无需稀疏化，解决方案大小保持不变。此外，研究探讨了基于Koopman算子的核回归方法，以提升预测准确性，并提出了结构保持的核岭回归方法，能够恢复高维非线性哈密顿函数，展示了良好的数值性能。

本文分析了核回归方法的泛化误差，探讨了高斯过程与宽神经网络的等效性，提出了新的谱原理，并揭示了训练集大小对泛化能力的影响。研究表明，更多数据可能损害推广能力，并提出了一种灵活的谱核学习框架，以验证理论结果的有效性。

本研究在简化环境中研究了大规模语言模型的模型崩溃现象，并提出了自适应正则化策略来减轻影响。

本论文提供了一种统一的理论来上界核回归的超额风险，并揭示了核矩阵的特征值尾部分布形成一种隐式正则化现象，从而实现良好的泛化。该研究结果适用于高输入维度的良性过拟合、固定维度的近似过拟合以及正则化回归的明确收敛速率。

该论文研究了神经网络在有噪声的情况下如何拟合数据并防止测试性能严重下降，提出了'良性过拟合'与'温和过拟合'的新概念。论文还系统性地分析了这些概念在核回归和深度神经网络中的应用效果。