本研究提出了一种新方法——切换非平稳马尔可夫决策过程（SNS-MDP），旨在解决非平稳环境中强化学习算法无法收敛的问题。研究表明，在固定策略下，SNS-MDP的价值函数可以通过马尔可夫链的统计特性得到解析解，且时间差分学习方法在非平稳情况下仍能收敛，具有重要的理论和实际应用意义。