人口下降:基于自然选择的超参数调优框架
原文中文,约300字,阅读约需1分钟。发表于: 。我们提出了 Population Descent,这是一个专注于超参数优化的模因算法。通过自适应的 m 优秀个体选择方法和基于标准化适应度的随机化方案,我们展示了这种算法在常见的基准任务上比复杂的现有算法提高了最多 13% 的性能。
本文介绍了一种名为自然进化策略(NES)的算法,它是一种比传统进化算法更为规范的黑盒优化方法。通过维护一个参数化的分布,使用自然梯度来更新分布的参数,以求解更高预期的适应度值。本文解决了关于收敛、稳健性、样本复杂度、计算复杂度和对超参数的敏感性等问题,并探讨了 NES 系列的多种实现。实验结果显示,NES 表现良好,达到了各种标准基准测试的最佳性能。