进化策略
内容提要
进化策略（ES）是一类黑箱优化算法，通过采样、评估和选择迭代更新参数分布。基础高斯ES仅跟踪均值和标准差；CMA-ES引入协方差矩阵，自适应调整搜索方向与步长；自然进化策略（NES）利用自然梯度提升优化效率。在深度强化学习中，OpenAI ES用高斯扰动并行训练策略，NS-ES通过新颖性搜索鼓励探索，CEM-RL结合进化与梯度方法。PBT和WANN则将进化算法用于超参调优和网络结构搜索。
延伸解读
进化策略与梯度下降的互补性
进化策略作为黑箱优化算法，不依赖梯度信息，仅通过评估函数值来更新参数分布。这与深度学习中常用的随机梯度下降形成对比：当目标函数不可微、梯度难以计算或存在大量局部最优时，进化策略提供了一种可行的替代方案。文章指出，进化策略属于进化算法家族，其优化对象是实数向量，通过采样、评估和选择迭代更新分布参数。这种特性使其在强化学习等奖励信号稀疏或不可微的场景中具有独特优势。
CMA-ES的自适应机制解析
CMA-ES通过引入协方差矩阵，能够自适应调整搜索方向与步长，克服了简单高斯进化策略中步长调整缓慢的局限。文章详细描述了其更新机制：均值更新采用学习率控制，步长通过进化路径与期望长度的比较来调整，协方差矩阵则结合秩μ更新和秩一更新两种方式。这种设计使得算法在探索与利用之间取得平衡，初期广泛探索，后期集中收敛到最优解。理解这些机制有助于在实际问题中合理设置参数。
自然进化策略中的自然梯度
自然进化策略利用自然梯度替代普通梯度，在分布空间中寻找最陡下降方向，从而提升优化效率。文章解释，自然梯度通过Fisher信息矩阵考虑参数空间的不确定性，对高不确定性的方向进行惩罚，使得更新更可靠。此外，NES还采用基于秩的适应度塑造和自适应采样等启发式方法增强鲁棒性。这些技术细节揭示了进化策略如何从简单的黑箱优化演变为高效的强化学习工具。
进化策略在深度强化学习中的实践
文章介绍了多种进化策略在深度强化学习中的应用，如OpenAI ES通过高斯扰动并行训练策略，仅需通信随机种子即可实现分布式训练；NS-ES利用新颖性搜索鼓励探索，避免局部最优；CEM-RL结合进化与梯度方法，提升样本效率。这些案例展示了进化策略如何与梯度方法互补，解决强化学习中的探索与利用难题。读者可关注这些方法在具体任务中的适用条件与性能权衡。
Q&A
进化策略（ES）是什么？它和遗传算法有什么区别？
进化策略（ES）是一类黑箱优化算法，属于进化算法家族，用于优化实数向量。与遗传算法不同，遗传算法中的个体是二进制编码，而ES中的个体是实数向量。
简单高斯进化策略是如何工作的？
简单高斯进化策略使用各向同性高斯分布，仅跟踪均值和标准差。每代从当前分布采样一组个体，评估适应度，选择最优的精英个体，然后用精英个体的均值和方差更新分布参数，迭代直到收敛。
CMA-ES相比简单高斯进化策略有什么改进？
CMA-ES通过引入协方差矩阵来跟踪变量间的相关性，从而自适应调整搜索方向和步长。它能够更快地调整探索空间，而简单高斯进化策略中步长变化缓慢，无法快速适应。
自然进化策略（NES）中的自然梯度是什么？
自然梯度是在概率分布空间中寻找使目标函数提升最快的方向，其距离由KL散度度量。它通过Fisher信息矩阵的逆来调整普通梯度，使得更新在分布流形上以恒定速度移动，避免曲率影响。
OpenAI ES如何应用于深度强化学习？
OpenAI ES将策略参数视为高斯分布，通过添加高斯噪声并利用对数似然技巧估计梯度，从而最大化回报。它支持并行采样，仅需通信随机种子，无需共享大量参数，提高了可扩展性。
NS-ES如何鼓励探索？
NS-ES通过新颖性搜索鼓励探索，它根据行为特征计算新颖性分数，并沿最大化新颖性的方向更新参数，而不是仅依赖累积回报。这有助于避免陷入局部最优。
CEM-RL是如何结合进化算法和梯度方法的？
CEM-RL结合了交叉熵方法（CEM）和深度确定性策略梯度（DDPG）或TD3。它维护一个actor种群，一半用于评估并将经验存入回放缓冲区，另一半与critic一起更新，然后使用精英样本更新种群分布。
PBT和WANN在深度学习中有哪些应用？
PBT（基于种群的训练）将进化算法用于超参数调优，通过并行训练和异步评估，利用exploit和explore步骤优化模型和超参数。WANN（权重无关神经网络）则用于搜索网络拓扑，通过评估共享权重下的性能来寻找最小且有效的网络结构。
