本文研究强化学习中的子目标发现问题，填补了在复杂任务分解中的空白。我们提出使用自由能范式来识别子目标状态，通过分析状态之间的不可预见性来实现任务的有效分解。实验结果表明，该方法在无任务先验知识的情况下，能够有效表现于复杂的导航任务，并具有较强的环境随机性鲁棒性。

本研究提出了一种新方法，解决规划和强化学习中的子目标结构识别问题。通过将学习草图分解视为深度强化学习任务，克服了现有方法的局限性，实验结果表明该方法在多个领域有效优化问题解决过程。

本文针对异构动作空间中代理的迁移强化学习问题，提出了一种新的子目标映射方法。该方法可以在不同的动作空间中有效学习子目标，显著提高学习代理在新任务中的样本效率和训练时间。研究结果表明，通过这种映射，学习代理能够更快地掌握以往专家代理的成功策略。

本研究解决了从非专家的无动作观察数据中学习长期目标达成策略的挑战性问题。提出了一种新颖的子目标引导学习策略，通过生成合理的子目标来促进有效探索，从而显著提高了复杂机器人导航和操作任务的性能，展示了其强大的应用潜力。

本文探讨了安全强化学习算法的进展，提出了如Recovery RL和Unrolling Safety Layer等新方法，以提高学习效率和安全性。这些方法在仿真和实际环境中有效减少安全事故并提升任务性能，强调了在机器人技术中整合安全约束的重要性，以应对复杂环境的挑战。

本文介绍了一种结合前瞻性搜索与基本技能的探索方法，旨在提高强化学习中的操作策略学习效率。通过无监督学习和互信息框架，提出了UPSIDE方法，以解决稀疏奖励任务中的探索问题。同时，研究探讨了语言模型在机器人技能发现中的应用，强调了技能在强化学习中的重要性和有效性。

本文提出了一种新的层次强化学习方法，结合无模型子目标发现和内在动机学习，以提高稀疏奖励环境中的学习效率。该方法在复杂导航任务中表现优异，能够有效发现和利用子目标，优化学习过程。实验结果表明，该方法在连续控制任务中显著优于现有算法。

本文研究了面向新手用户的非稳健智能决策支持系统的互动，介绍了一种新颖的基于子目标的解释类型，以提高用户任务表现和系统的鲁棒性。研究表明，基于子目标的解释可实现更好的用户任务表现、提高用户区分优化和非优化智能决策支持推荐的能力，并在智能决策支持系统失灵的情况下实现更加鲁棒的用户表现。

本文探讨了在原子目标下，许多经典规划领域问题因有界且较小的问题宽度，可通过多项式探索过程（IW）解决。文章提出了有界宽度与最优策略存在的关系，定义了串行化宽度概念，并通过串行化IW算法解决了一些非最优问题。最后，结合策略语言与串行化语义，提出了草图指定串行化方法。