部分可观测性在强化学习中意味着代理只能获取部分状态，导致决策不最优。通过增强状态表示和结合历史观测，可以改善决策。函数逼近器无法存储历史信息，需要特征工程或特殊架构来实现记忆。Sutton指出，函数逼近虽然能简化状态，但无法补全缺失信息，需手动调整状态定义。

该文综述分层强化学习中的子目标发现方法，涵盖：通过发展机制学习可解释、可迁移的状态表示并对相似角色状态分组；Feudal HRL同时学习目标表示与分层策略；Skipper利用时空抽象实现零样本泛化；STI-HRL建模时空因素预测用户下次访问；图解耦方法提升数据效率；规范化与主动探索改善稀疏奖励学习；空间推理方法在3D环境中优于扁平与分层架构；子目标类别用于Atari稀疏奖励游戏；Hierarchical-DQN结合内在动机实现高效探索。

本文研究了函数逼近的时序差分学习论（TD）可能会收敛至比蒙特卡罗回归更劣的解的问题，以及逼近误差在自举更新中如何进一步扩散的问题。作者证明了泄漏传播的存在，但并不意味着一定会发生，也测试了通过更好的状态表示是否可以缓解这个问题。最后，作者探讨了在无奖励或特权信息的情况下进行学习的可能性。

本研究比较了数字状态和图像表示对于机器人任务的影响，结果显示使用图像表示的代理表现更好。推测任务特定的知识对于实现机器人控制是必要的。

该研究使用深度学习模型比较了特权强化学习代理和感知运动代理在城市驾驶中的差异，并提出了逐步发展较不特权的强化学习代理的解决方案。研究发现离线数据集上训练的鸟瞰图模型在在线强化学习训练中存在分布不匹配的问题。通过在CARLA模拟环境中进行评估，研究揭示了强化学习中状态表示对自动驾驶的重要性，并指出了未解决的研究挑战。

本研究探讨了函数逼近的时序差分学习论（TD）的问题，发现了泄漏扩散的证据，并证明了只有在逼近误差时才会出现这种情况。通过改进状态表示来缓解问题，并在无奖励或特权信息的情况下进行学习。