本文介绍了一种新的非参数密度估计方法，基于正则化密度的Sobolev范数。该方法与核密度估计不同，能够清晰解释模型的偏差。优化问题是非凸的，标准梯度法性能不佳，但适当的初始化和使用自然梯度可以得到良好的解。该方法在ADBench基准套件上评估结果显示，排名第二，超过15种算法。

本文介绍了一种名为自然进化策略（NES）的算法，它是一种比传统进化算法更为规范的黑盒优化方法。通过维护一个参数化的分布，使用自然梯度来更新分布的参数，以求解更高预期的适应度值。本文解决了关于收敛、稳健性、样本复杂度、计算复杂度和对超参数的敏感性等问题，并探讨了 NES 系列的多种实现。实验结果显示，NES 表现良好，达到了各种标准基准测试的最佳性能。