非稳态环境中的广泛计划与学习的认知性探索
内容提要
该文综述非稳态环境下的强化学习框架，涵盖模型学习与规划、离线RL、因果泛化、探索、变点检测、贝叶斯探索网络、终身学习、非参数策略及非平稳时间序列因果发现等方法，并在推动、传感器管理、交通控制等任务中验证有效性。
延伸解读
非稳态强化学习的核心挑战与应对思路
非稳态环境要求强化学习智能体能够识别环境变化、触发探索、保留旧知识并保护性能。文章综述的框架通过变点检测、贝叶斯探索网络、离线强化学习等方法应对这些挑战，并在推动、传感器管理、交通控制等任务中验证。这些方法共同指向一个目标：在动态变化中保持决策的稳健性和适应性。
模型学习与规划在连续空间中的效率优化
针对连续状态动作空间和非高斯转移的随机域，文章介绍了一种高效模型学习与规划框架。它仅在需要时估计局部模型，规划器聚焦于当前问题最相关的状态和信息最丰富的动作，理论分析显示其有效性和渐近最优性，并在多模式推动问题上得到实验验证。这种按需计算的方式降低了规划复杂度。
离线强化学习与因果泛化的进展
离线强化学习利用潜在变量模型学习当前和过去环境的表示，从而在非稳态下显著优于忽略环境变化的方法。因果视角则为系统泛化提供了形式化框架，在特定结构假设下以多项式样本复杂度保证规划误差。这些工作表明，利用历史数据和因果结构可以提升非稳态环境中的泛化能力。
探索、终身学习与非参数策略的多样性
文章涵盖了多种前沿方法：基于环境分布的探索策略旨在最短步数内访问最多独特状态；贝叶斯探索网络通过正态化流和变分推断建模不确定性，在无模型方法失败的任务中学习贝叶斯最优策略；终身学习中的反应式探索和策略梯度方法能更快适应分布变化；非参数策略在RKHS中定义搜索空间，在动态环境中优于DDPG和TD3。这些方法从不同角度增强了非稳态适应性。
Q&A
非稳态环境下的强化学习面临哪些主要挑战？
非稳态环境下的强化学习需要应对环境变化，主要挑战包括识别环境变化、触发探索、保留先前环境的知识以及保护系统性能。
有哪些方法可以用于非稳态环境下的模型学习与规划？
针对连续状态和动作空间以及非高斯转移模型的随机域，有一种模型学习和规划框架，它只在计划器需要时估计局部模型，计划器集中于最相关状态和信息最丰富或价值最高的动作，理论分析显示其有效性和渐近最优性。
离线强化学习如何应对环境变化？
一种新的离线强化学习算法使用潜在变量模型，从当前和过去的经验中学习环境的表示，并在此表示下执行离线强化学习，实验表明这种方法显著优于不考虑环境变化的方法。
贝叶斯探索网络（BEN）是什么？它解决了什么问题？
贝叶斯探索网络（BEN）是一种无模型方法，通过在一维贝尔曼算子中建模不确定性，使用正态化流建模贝尔曼算子中的不确定性，并通过变分推断建模知识性不确定性，解决了高维状态转移分布中建模不确定性的计算复杂性问题，实验表明BEN可以在现有无模型方法失败的任务中学习到真正的贝叶斯最优策略。
在终身学习中，如何跟踪和适应持续的领域转变？
在终身学习情境下，可以采用反应式探索方法，实验证明策略梯度方法适合终身学习，能更快地适应分布变化。
非参数策略学习如何实现动态环境下的自适应控制？
一种非参数学习方法通过将策略分布嵌入为非递减的欧几里得空间中的特征，允许搜索空间在非常高维的RKHS中定义，并结合Adaptive H技术，利用RKHS中的相似度度量，实现优化动态环境下自主适应的最佳控制策略，实验证明在多个基准测试和仿真机器人基准测试中优于DDPG和TD3方法。
如何发现非平稳时间序列的因果关系并进行预测？
针对非平稳时间序列的因果关系发现和预测问题，提出了一种基于状态空间模型的方法，利用非平稳性质确定因果结构，将预测问题视为因果模型的贝叶斯推断问题，并在合成数据和真实数据集上进行了实验验证。
