协调空间和时间抽象以实现目标表征
内容提要
该文综述分层强化学习中的子目标发现方法，涵盖：通过发展机制学习可解释、可迁移的状态表示并对相似角色状态分组；Feudal HRL同时学习目标表示与分层策略；Skipper利用时空抽象实现零样本泛化；STI-HRL建模时空因素预测用户下次访问；图解耦方法提升数据效率；规范化与主动探索改善稀疏奖励学习；空间推理方法在3D环境中优于扁平与分层架构；子目标类别用于Atari稀疏奖励游戏；Hierarchical-DQN结合内在动机实现高效探索。
延伸解读
子目标发现的两条技术路线
文章呈现了子目标发现的两类思路：一类通过发展机制自动学习状态表示，将具有相似任务角色的状态分组，并借助Feudal HRL同时学习目标表示与分层策略；另一类则结合无模型方法与内在动机，无需环境模型即可应对大状态空间和稀疏奖励。前者强调表示的可解释与可迁移，后者侧重实际可扩展性，读者可据此判断不同方法对环境的依赖程度。
时空抽象如何提升泛化与预测
Skipper利用空间和时间抽象将任务分解为更小的子任务，从而在零样本泛化上表现突出；STI-HRL则专门建模人类移动中空间与时间因素的交互，通过两层决策解耦偏好并预测下次访问。两者都说明，显式分离时空因素有助于处理新情境或序列决策，但Skipper依赖基于图的规划与理论保证，STI-HRL则依赖历史数据组织，适用场景并不相同。
稀疏奖励下的工程化改进
针对稀疏奖励，文章汇集了多种改进：图解耦方法让高层策略操作间隔更灵活，实现更长时域抽象和更快训练；规范化方法提升子目标表示的稳定性，主动分层探索则寻找无内在奖励的新子目标；子目标类别与时间扩展选项被用于Atari游戏；Hierarchical-DQN结合分层值函数与内在动机实现高效探索。这些工作共同表明，稀疏奖励的突破往往来自表示、探索与分层结构的协同设计。
Q&A
分层强化学习中的子目标发现方法主要有哪些类型？
文章综述了多种子目标发现方法，包括：基于发展机制的方法（学习可解释、可迁移的状态表示并对相似角色状态分组）、Feudal HRL（同时学习目标表示与分层策略）、Skipper（利用时空抽象实现零样本泛化）、STI-HRL（建模时空因素预测用户下次访问）、图解耦方法（提升数据效率）、规范化与主动探索方法（改善稀疏奖励学习）、空间推理方法（在3D环境中优于扁平与分层架构）、子目标类别方法（用于Atari稀疏奖励游戏）以及Hierarchical-DQN（结合内在动机实现高效探索）。
Skipper 是如何实现零样本泛化的？
Skipper 是一个受人类有意识规划启发的基于模型的强化学习代理，它利用空间和时间抽象来在新情境中推广学到的技能。它通过自动将任务分解为更小、更可管理的子任务来实现稀疏决策，并将计算集中在环境相关的部分。基于图的高层代理问题的定义和端到端学习的顶点和边的学习确保了性能保证，理论分析确定了该方法在何种情况下有帮助。实验验证表明 Skipper 在零样本泛化方面具有显著优势。
STI-HRL 框架是如何处理人类移动中的空间和时间因素的？
STI-HRL（空间-时间诱导层次强化学习）框架通过两个层次的决策过程来捕捉人类移动决策中空间和时间因素的相互作用。它通过专用的个体代理来解开空间和时间偏好，然后在高级层次集成这些考虑最终做出决策。在利用超图组织历史数据的基础上，提出了一个跨通道超图嵌入模块，用于学习表示状态以促进决策过程。在两个实际数据集上的实验证实了 STI-HRL 在预测用户下次访问方面的优越性。
图解耦方法在分层强化学习中有什么优势？
图解耦方法使用图形解耦合高层次和低层次策略视野，可以使高层次策略的操作间隔更加灵活，从而实现更长的时域抽象和更快的训练。与现有的分层强化学习算法相比，该方法在数据效率方面表现更好，在典型的分层强化学习环境中实现了复杂任务的长期和复杂的运动和操作。
如何改善稀疏奖励环境下的子目标学习？
文章提出了两种改善稀疏奖励学习的方法：一是新的规范化方法，用于提高子目标表示的稳定性和效率；二是主动式分层探索策略，用于寻找没有内在奖励的新有前途的子目标和状态。实验结果表明，这些方法在具有稀疏奖励的连续控制任务中显著优于最先进的基线算法。此外，Hierarchical-DQN 结合分层值函数、内在动机和深度强化学习，在稀疏反馈环境中提供灵活的目标规定和高效的探索。
空间推理方法在3D环境中表现如何？
文章提出了一种基于空间推理和强化学习框架的学习方法，通过想象视觉目标并选择适当的行动来完成任务，使用单一外部奖励信号和内部动机来学习。该方法在两个仿真3D环境中进行了验证，并在处理物体排列任务时，优于两个扁平化架构和一个分层架构。
