重温具有记忆单子的循环强化学习
内容提要
该文综述了基于循环神经网络的强化学习处理部分可观测马尔可夫决策过程（POMDP）的研究进展，涵盖DRQN、LSTM-TD3、Fast and Forgetful Memory等模型，表明记忆机制可有效应对部分可观测性，短期记忆往往足够，且精心设计的架构与超参数常优于专用算法。
延伸解读
记忆机制在部分可观测强化学习中的核心作用
文章指出，在部分可观测马尔可夫决策过程（POMDP）中，智能体无法获取完整状态，必须依赖历史信息。循环神经网络等记忆机制能够通过时间积分信息来应对部分可观测性，例如DRQN仅凭单帧观测即可在Atari游戏中达到与DQN相近的性能。这表明记忆组件是处理POMDP的有效手段，且短期记忆在多数环境中已足够。
架构与超参数设计常优于专用算法
通过比较21个环境中的无模型强化学习方法，文章发现精心的架构和超参数决策往往能取得比专门针对特定POMDP设计的算法更好的表现。这意味着在实际应用中，优先优化网络结构和超参数可能比寻找复杂专用算法更有效，同时也为POMDP研究提供了一个简单高效的基线模型。
短期记忆足够性与模型效率的平衡
文章提到，对于隐状态可通过近期历史解码的POMDP子类，短期记忆已足够学习近优策略。同时，Fast and Forgetful Memory等模型通过结构先验实现了对数时间和线性空间复杂度，训练速度比传统RNN快两个数量级。这提示在部分可观测任务中，不必过度追求长期记忆，而应关注记忆机制的设计效率。
Q&A
循环强化学习主要用来解决什么类型的问题？
循环强化学习主要用来处理部分可观测马尔可夫决策过程（POMDP），即智能体无法完全观测到环境状态的情况。
DRQN模型相比DQN有什么改进？
DRQN使用循环LSTM替换了DQN的第一个后卷积全连接层，使其在每个决策点只看到一个帧的情况下，也能通过时间积分信息，从而在部分可观测的Atari游戏中表现与DQN相似。
LSTM-TD3方法在处理部分可观测MDP时有什么优势？
LSTM-TD3通过引入记忆组件来应对部分可观测MDP，相比其他深度强化学习算法，它能更好地处理丢失和噪声观察数据，具有显著优势。
Fast and Forgetful Memory模型有什么特点？
Fast and Forgetful Memory通过添加结构先验，具有对数时间和线性空间复杂度，在循环强化学习中实现了更高奖励，并且训练速度比RNN快两个数量级。
短期记忆对于部分可观测环境的强化学习是否足够？
是的，研究表明短期记忆对于许多部分可观测环境的强化学习已经足够，尤其是当隐状态可以通过历史的近期记录解码时。
在循环强化学习中，架构和超参数的选择与专用算法相比如何？
精心的架构和超参数决策通常可以实现比专门针对特定POMDP设计的算法更好的表现。
