部分可观测性在强化学习中意味着代理只能获取部分状态，导致决策不最优。通过增强状态表示和结合历史观测，可以改善决策。函数逼近器无法存储历史信息，需要特征工程或特殊架构来实现记忆。Sutton指出，函数逼近虽然能简化状态，但无法补全缺失信息，需手动调整状态定义。

本文提出了一种新理论框架，将有限代理人的状态表示学习与目标导向结合。通过定义目标状态表示的可控性，研究粒度与策略复杂性之间的权衡。算法在导航任务中有效，强调忽略某些信息以学习简单灵活的状态表示，为自然和人工学习提供统一视角。

本文介绍了遮盖轨迹模型 (MTM) 作为顺序决策制定的一般抽象。MTM 通过高度随机化的遮盖模式进行训练，学习多功能网络，可以扮演不同的角色或具有不同的能力。实验表明，MTM 网络可以匹配或优于专门训练的网络，并且学到的状态表示可以加速传统 RL 算法的学习速度。在离线 RL 基准测试中，MTM 与专门的离线 RL 算法相竞争。

本文提出了一种基于随机模型的方法，几乎确定地保证了强化学习的安全性。通过预测状态表示和再生核希尔伯特空间，对未来的多步观测进行了解析表示，并通过核贝叶斯规则导出了关键操作，可以递归估计未来的观测。建立了多项式样本复杂度，确保了 ε- 次优安全策略保证。

本文研究了函数逼近的时序差分学习论（TD）可能会收敛至比蒙特卡罗回归更劣的解的问题，以及逼近误差在自举更新中如何进一步扩散的问题。作者证明了泄漏传播的存在，但并不意味着一定会发生，也测试了通过更好的状态表示是否可以缓解这个问题。最后，作者探讨了在无奖励或特权信息的情况下进行学习的可能性。

本研究比较了数字状态和图像表示对于机器人任务的影响，结果显示使用图像表示的代理表现更好。推测任务特定的知识对于实现机器人控制是必要的。

该研究使用深度学习模型比较了特权强化学习代理和感知运动代理在城市驾驶中的差异，并提出了逐步发展较不特权的强化学习代理的解决方案。研究发现离线数据集上训练的鸟瞰图模型在在线强化学习训练中存在分布不匹配的问题。通过在CARLA模拟环境中进行评估，研究揭示了强化学习中状态表示对自动驾驶的重要性，并指出了未解决的研究挑战。

本研究探讨了函数逼近的时序差分学习论（TD）的问题，发现了泄漏扩散的证据，并证明了只有在逼近误差时才会出现这种情况。通过改进状态表示来缓解问题，并在无奖励或特权信息的情况下进行学习。