本文提出了一种基于自适应数据驱动离散化的$Q$-学习算法，适用于大型状态-动作空间的无模型强化学习。研究了相似度度量在强化学习中的应用，提出了提高样本效率的新方法，并探讨了探索策略和状态抽象的学习。最后，通过符号回归生成的表达式提升了模型无关强化学习的样本效率。

本文综述学习规划表示的研究，涵盖：结合组合与图像方法学习动作模板，从非符号输入推断一阶符号表示以实现类型泛化与即时泛化；用语言模型自动构建任务规划表示；以多任务策略学习运动表示并规划；自我学习任务无关状态抽象；弥合抽象动作推理与机器人执行的差距；评估表示维度、可观测性与分离度；用符号自动机替代马尔可夫奖励；以范畴论和图形语法建模PDDL。

该文综述强化学习中的状态表示学习研究，涵盖双向自学习算法、马尔科夫状态抽象表示、基于模型的在线强化学习、自回归表示SPR、聚类状态抽象加速奖励预测、新辅助学习规则、局部约束表示法、无显式状态访问下的模型学习与后悔界改进，以及从观测序列精确学习环境模型和LSTM隐藏状态表示等方法。