该文综述分层强化学习中的子目标发现方法，涵盖：通过发展机制学习可解释、可迁移的状态表示并对相似角色状态分组；Feudal HRL同时学习目标表示与分层策略；Skipper利用时空抽象实现零样本泛化；STI-HRL建模时空因素预测用户下次访问；图解耦方法提升数据效率；规范化与主动探索改善稀疏奖励学习；空间推理方法在3D环境中优于扁平与分层架构；子目标类别用于Atari稀疏奖励游戏；Hierarchical-DQN结合内在动机实现高效探索。