元强化学习
内容提要
元强化学习旨在训练能快速适应新任务的智能体，核心是让策略网络结合上一动作和奖励，通过循环网络记忆任务信息。训练时从MDP分布中采样任务，用梯度下降更新模型。关键组件包括带记忆的模型、元学习算法和任务分布。主要方法有MAML、元梯度RL、进化策略和情景记忆，并通过域随机化或进化算法生成任务。
延伸解读
元强化学习与普通强化学习的核心区别
普通强化学习的策略仅依赖当前状态，而元强化学习将上一动作和奖励也作为策略输入，使循环网络能记忆任务历史并动态调整策略。这种设计让智能体在测试时无需梯度更新即可适应新任务，但要求任务共享相同的状态和动作空间，否则策略无法跨任务泛化。
记忆机制在元强化学习中的关键作用
元强化学习依赖带记忆的模型（如LSTM）来内部化任务信息。训练时，每个任务重置隐藏状态，智能体通过多轮轨迹更新权重，从而学会快速适应。若没有记忆，智能体无法区分不同任务，元学习能力将失效。因此，循环网络架构是元强化学习的基础组件。
任务分布设计：域随机化与进化算法
任务分布决定了元强化学习的泛化边界。域随机化通过随机化模拟器参数生成多样任务，简单但可能缺乏结构性；进化算法（如POET）则能逐步生成难度递增的任务，形成课程学习。两者各有优劣：前者实现容易，后者更接近开放式学习，但计算成本更高。
元强化学习的主要算法路线与权衡
元强化学习算法可分为基于梯度（如MAML、元梯度RL）、基于进化（如EPG）和基于情景记忆（如NEC）等。基于梯度的方法能精细调整策略但计算昂贵；进化策略无需可微环境但样本效率低；情景记忆通过非参数检索避免遗忘，但受限于状态编码质量。选择取决于任务特性和资源约束。
Q&A
元强化学习中的策略网络与普通强化学习有什么不同？
在元强化学习中，策略网络的输入除了当前状态s_t外，还加入了上一时刻的动作a_{t-1}和奖励r_{t-1}，即π_θ(a_{t-1}, r_{t-1}, s_t)。这样设计是为了让策略能够内化当前MDP中状态、奖励和动作之间的动态关系，并据此调整策略。
元强化学习有哪些关键组成部分？
元强化学习有三个关键组件：1）带记忆的模型，通常使用循环神经网络（如LSTM）来维护隐藏状态，从而在rollout过程中获取并记忆当前任务的知识；2）元学习算法，用于更新模型权重，使其能在测试时快速解决新任务，例如对LSTM进行梯度下降更新；3）MDP的分布，即训练时智能体需要面对多种环境和任务，学习如何适应不同的MDP。
元强化学习中有哪些主要的元学习算法？
元强化学习中的主要元学习算法包括：MAML和Reptile（用于优化模型权重以实现快速适应）、元梯度RL（Meta-Gradient RL，在线学习折扣因子和自举参数等超参数）、进化策略（如EPG，进化损失函数）、以及情景记忆方法（如MFEC、NEC、Episodic LSTM，通过外部记忆增强学习）。
如何为元强化学习生成训练任务？
生成训练任务的方法主要有：1）域随机化：在模拟器中随机化参数，改变状态转移函数；2）进化算法生成环境：如POET，通过进化算法同时生成环境和优化智能体；3）随机奖励：在给定的受控马尔可夫过程（CMP）上生成多种奖励函数，例如通过DIAYN方法学习技能嵌入并构造奖励。
元强化学习中的情景记忆是什么？它如何帮助提高样本效率？
情景记忆是一种显式存储过去事件（如状态-动作对及其Q值）的外部记忆，用于直接参考以做出新决策。它通过非参数化方法（如最近邻检索）快速估计Q值，避免了对参数模型的缓慢调整，从而提高了样本效率并减少灾难性遗忘。例如，MFEC使用大表存储，NEC使用可微神经字典（DND），Episodic LSTM将记忆集成到LSTM中。
元强化学习与AI-GAs（AI生成算法）有何联系？
元强化学习与AI-GAs的理念一致，都旨在使学习尽可能自动化。AI-GAs提出构建通用AI的三个支柱：元学习架构、元学习算法和自动生成环境。元强化学习通过调整循环网络权重（慢速）让模型在内部实现自己的RL算法，从而快速解决新任务，这与AI-GAs中自动生成环境和算法以促进学习的思想相吻合。
