本文研究了多种优化算法，包括基于光滑和匹配估计的参数估计方法、无导数算法和核密度估计在非参数回归中的应用。探讨了平滑函数的全局最小化、噪声函数的梯度逼近及其收敛性，提出了相对平滑性和相对强凸性的概念，分析了非可微优化问题的必要条件和算法，并强调高阶平滑性对估计速率的影响。