ReACT: 使用 B 样条几何对控制器参数化进行强化学习
内容提要
该文综述深度强化学习在连续控制中的进展：简单线性与RBF参数化策略性能可与复杂神经网络相比；结合Youla-Kucera参数化可保证稳定性并实现数据驱动设计；模型强化学习结合神经网络可控制混沌系统，提升车辆轨迹控制与量子系统样本效率；集成模型学习与预测控制可优化闭环性能，并用于物理模型参数推断。
延伸解读
简单参数化策略的竞争力
文章指出，使用线性或RBF参数化的策略在多种连续控制任务上，性能可与全连接神经网络等复杂参数化相当。这意味着在部分场景中，不必依赖大规模神经网络也能获得良好控制效果。同时，采用不同初始状态分布训练有助于产生泛化更好的全局策略，使系统能从较大在线扰动中恢复，这对实际部署中的鲁棒性有参考价值。
稳定性保证与数据驱动设计的结合
文章介绍了将深度强化学习与Youla-Kucera参数化结合的框架，通过参数化定义搜索域来提供稳定性保证。后续工作利用输入-输出探索数据构建数据驱动内部模型，使备选实现完全基于数据，并给出矩阵分解方法明确表示所有稳定线性算子集合。这为在保证稳定性的前提下进行数据驱动控制器设计提供了思路，也展示了调整固定结构控制器的可能性。
模型强化学习在复杂系统控制中的拓展
文章综述了基于模型的强化学习在多个领域的应用：结合深度神经网络控制一维Kuramoto-Sivashinsky方程描述的混沌系统，仅用局部传感器数据实现目标状态稳定；在车辆轨迹控制中，将动力学预测与定位分离，比传统方法更高效地学习策略；利用神经常微分方程归纳偏置，在量子门优化中样本复杂度比标准基于模型的RL有数量级优势。这些案例表明模型RL在样本效率和复杂系统控制方面具有潜力。
集成模型学习与预测控制的闭环优化
文章提出一种集成模型学习与预测控制的框架，通过逐渐稀疏化神经网络进行端到端优化，在保证预测准确性的基础上取得更好的闭环控制性能。此外，基于强化学习的模型参数推断框架以物理模型响应跟踪为目标，采用约束Lyapunov基础的actor-critic算法，考虑大规模高维数据和嘈杂真实世界条件下的鲁棒性，并在两个物理模型诊断测试案例中表现优秀。这显示了模型学习与预测控制结合在闭环性能和参数推断方面的实用价值。
Q&A
简单线性或RBF参数化的策略在连续控制任务中表现如何？
用简单的线性和RBF参数编制的策略可以训练并解决多种连续控制任务，其性能与使用更复杂参数编制（如全连接神经网络）得到的最新结果相当。
如何保证强化学习设计的反馈控制器的稳定性？
可以结合深度强化学习的优势与Youla-Kucera参数化来提供稳定性保证，并采用基于数据驱动内部模型的替代Youla-Kucera参数化方法，使用神经网络表示参数化一组非线性稳定算子。
基于模型的强化学习如何控制混沌系统？
利用基于模型的强化学习算法结合深度神经网络，针对一维Kuramoto-Sivashinsky方程描述的非线性混沌系统，通过局部测量得到的限制性传感器数据指引控制策略，实现混沌状态下目标状态的稳定控制。
在车辆轨迹控制中，如何更高效地学习控制策略？
采用数据高效的深度强化学习方法，发现新的模型推理方法并将动力学预测和车辆定位分离，比传统方法更高效地学习控制策略。
如何利用强化学习提高量子系统控制的样本效率？
利用基于神经常微分方程（ODE）的归纳偏置，提出一种基于模型的强化学习方法，用于在噪声时变门优化中近似环境模型，与标准的基于模型的强化学习相比，在样本复杂度方面有数量级的优势，适用于控制一、二量子位系统。
集成模型学习与预测控制框架如何优化闭环性能？
通过逐渐稀疏化神经网络以有效优化算法进行端到端的优化，在保证预测准确性的基础上取得更好的闭环控制性能。
