本文探讨了强化学习中状态、动作和策略空间的结构，利用Banach收缩原理提高贝尔曼算子的收敛速度和性能，尤其在MountainCar、CartPole和Acrobot等环境中表现突出。研究表明，深入的数学理解能提升决策算法的有效性。

本文提出了一种无模型方法，通过在一维贝尔曼算子中建模不确定性，引入贝叶斯探索网络 (BEN)，通过正态化流来建模贝尔曼算子中的不确定性，并通过变分推断来建模知识性不确定性。实验结果表明，BEN 可以在无模型方法失败的任务中学习到真正的贝叶斯最优策略。