本文综述无参数随机优化研究,探讨完全无参数方法的适用条件,并展示简单超参数搜索在凸与非凸环境下可超越先进算法。针对仅可获取随机梯度的场景,提出部分无参数方法,涵盖SignSGD、归一化SGD、AMSGrad、AdaGrad、投掷硬币SGD、分布式方差约减、GDFO及自适应学习率等技术,证明无调参即可实现近最优收敛。
完成下面两步后,将自动完成登录并继续当前操作。