连接状态与历史表征：理解自预测强化学习
内容提要
该文综述强化学习中的状态表示学习研究，涵盖双向自学习算法、马尔科夫状态抽象表示、基于模型的在线强化学习、自回归表示SPR、聚类状态抽象加速奖励预测、新辅助学习规则、局部约束表示法、无显式状态访问下的模型学习与后悔界改进，以及从观测序列精确学习环境模型和LSTM隐藏状态表示等方法。
延伸解读
自预测表示为何能提升样本效率
文章介绍的SPR方法将自监督预测目标与深度强化学习结合，让智能体在视觉输入和交互结构上同时学习。这种设计不依赖额外奖励信号，而是利用环境自身的可预测性构造辅助任务，从而在Atari游戏中显著提升性能。对读者而言，这提示表示学习可以独立于主任务优化，但需注意其效果高度依赖预测目标与任务的相关性。
状态抽象与奖励预测的协同
通过聚类构建奖励预测网络所需的状态抽象，文章展示了如何加速高维视觉控制任务的学习，并实现跨分布传递而无需重新训练。这意味着状态抽象不仅是压缩表示，还能作为可复用的先验知识。不过，这种方法的有效性取决于聚类粒度与奖励结构的匹配程度，过度抽象可能丢失关键细节。
表示学习规则的分化与选择
文章指出时序差分学习与蒙特卡罗、残差梯度在多数环境的特征学习上存在差异，并提出了新的辅助学习规则。这提醒实践者：不同学习规则诱导的表示可能适用于不同任务特性，没有普适最优解。在经典环境中的较好表现需结合具体场景验证，不能直接外推到复杂环境。
无显式状态访问下的理论边界
文章讨论了学习者无法直接访问MDP状态、只能通过历史到状态的多个模型进行学习的设定，并改进了后悔界与状态聚合误差界。这一理论进展的意义在于，它为基于历史观测的强化学习提供了更紧的性能保证，但结论依赖于模型对MDP的近似程度，实际应用中需关注近似误差对界的影响。
Q&A
自预测强化学习中的双向自学习算法是什么？
双向自学习算法是一种通过设计优化动态来实现自预测学习的方法，该研究探讨了自预测学习的学习动态，并通过实验验证了算法的有效性。
如何学习马尔科夫状态抽象表示来提高强化学习的样本效率？
一种新方法结合了逆向模型估计和时态对比学习，可以学习马尔科夫状态抽象表示，从而提高强化学习中的样本效率。
SPR方法在深度强化学习中有什么作用？
SPR（自回归表示）方法使用深度强化学习，结合自监督目标和对视觉输入及环境交互结构的预测，提高了代理器的学习效率，并在Atari游戏中显著提升了性能。
聚类状态抽象如何加速强化学习中的奖励预测？
通过聚类算法构建奖励预测深度网络所需的状态抽象，可以加速高维可视控制任务的学习，并实现通过预先训练的奖励预测表示网络在不重新训练的情况下加速学习的系统性跨分布传递。
局部约束表示法如何提高强化学习的泛化能力？
局部约束表示法通过对环境观测状态的预测及邻近状态的表示作为辅助损失，将强化学习中的表示与任务相分离，从而提高泛化能力，并有效应用于连续控制任务中。
在没有显式状态访问的情况下，如何学习环境模型并改进后悔界？
研究了一种强化学习设置，学习者没有显式访问底层MDP的状态，而是可以访问将历史映射到状态的多个模型，改进了这种设置下已知的后悔边界，并概括了模型只包含近似表示的情况，还改进了状态聚合的误差边界。
