该文综述强化学习中的状态表示学习研究，涵盖双向自学习算法、马尔科夫状态抽象表示、基于模型的在线强化学习、自回归表示SPR、聚类状态抽象加速奖励预测、新辅助学习规则、局部约束表示法、无显式状态访问下的模型学习与后悔界改进，以及从观测序列精确学习环境模型和LSTM隐藏状态表示等方法。