一个类似于继承表现的分布式模型
内容提要
该文综述基于后继表示（SR）的强化学习研究，涵盖探索奖励、隐式计数、Atari 最优性能、DSR 分解、λR 状态表示、t-SR 时间扩展、多任务迁移、风险规避、边际重要性抽样、分布式 RL 及 DHTM 在线隐藏表示等方法。
延伸解读
从探索到迁移：SR 的多场景应用
文章综述了后继表示（SR）在强化学习中的多种应用。在探索方面，SR 的转移范数可作为内在奖励，隐式计数则实现高效完备探索，并在 Atari 2600 上达到最优性能。在迁移方面，DSR 通过分解奖励预测和继任者映射，提升了对远程奖励变化的灵敏度，并能提取瓶颈状态作为子目标。这些工作表明 SR 不仅是表示工具，也是连接探索与迁移的桥梁。
时间扩展与多任务：SR 的扩展形式
文章介绍了 SR 的两种重要扩展：t-SR 和 λR。t-SR 通过构造基本动作的继承表示来捕获时间扩展操作的预期状态转移动态，从而减少控制所需的决策数量，并学习时间扩展动作序列的时域，性能优于基于价值和无模型的方法。λR 则是一种新的状态表示，在政策评估上优于其他表示，并有助于研究自然行为，特别是觅食行为。这些扩展展示了 SR 在时间抽象和多任务场景中的灵活性。
分布式与风险规避：SR 的鲁棒性探索
文章还涵盖了 SR 在分布式强化学习和风险规避决策中的进展。分布式方法使用嵌套 Kusuoka 类型条件风险映射构造动态风险度量，利用深度神经网络逼近值函数的条件分布，避免了探索阶段的维度灾难。此外，基于 SR 的边际重要性抽样（MIS）方法减少了优化难度，并在 Atari 和 MuJoCo 等环境中进行了评估。这些工作表明 SR 能有效支持风险敏感和分布式学习。
生物启发与在线学习：SR 的神经基础
文章最后探讨了 SR 与生物启发的在线隐藏表示学习的联系。分布式赫比时态记忆（DHTM）算法基于因子图和多组分神经元模型，能捕捉序列数据关系并对未来观察作出累积预测，形成继承者表示。实验表明，DHTM 在动态环境中的时序差异学习上优于经典 LSTM，并与更高级的 RNN 算法相当。此外，SR 还被用于解释海马体区域的空间编码特征，为神经生物学建模提供了新视角。
Q&A
什么是后继表示（successor representation）在强化学习中的基本思想？
后继表示（SR）是一种基于转移概念的强化学习表示方法，它利用状态转移的预期来激励探索，并可通过隐式计数实现高效完备探索。
DSR方法如何提高对远程奖励变化的灵敏度？
DSR通过在一个端到端的深度强化学习框架中，将后继表示（SR）进行推广，并分解奖励预测和继任者映射，从而提高了对远程奖励变化的灵敏度。
λR状态表示在多任务强化学习中有哪些优势？
λR状态表示在政策评估方面性能优于其他表示方法，并且有助于研究自然行为，特别是觅食行为。
t-SR时间扩展的后继表示如何减少控制所需的决策数量？
t-SR通过构造基本动作的继承表示来捕获时间上扩展的操作的预期状态转移动态，从而减少了控制所需的决策数量，同时学习到时间上扩展的动作序列的时域。
分布式强化学习相比非分布式方法有什么优势？
分布式强化学习通过小损失边界证明了从非分布式方法中获得的边界不如小成本边界强，并提出了在线和离线分布式RL算法，分别具有小损失的PAC边界和新颖的鲁棒性质。
DHTM算法在在线隐藏表示学习中有什么特点？
DHTM算法基于因子图形式和多组分神经元模型，旨在捕捉序列数据关系，并对未来观察作出累积预测，形成继承者表示。实验证明，DHTM在应对动态环境中的时序差异学习方面表现优于经典LSTM，并与更高级的类似RNN的算法相当，加速了继承者表示中的时间差异学习。
