本研究分析了强化学习算法在高维空间中应用贝尔曼方程的局限性，指出信息忽视导致的低效问题，并探讨了其他学习方法的效率问题。

本文提出了一种统一框架，将贝尔曼方程中的随机性视为外部噪声的确定性函数，支持连续控制策略的学习。该框架提供了一系列策略梯度算法，从无模型到有模型的方法。算法仅需环境观察，减少模型误差影响。在随机控制问题和物理模拟中，SVG（1）变体展示了同时学习模型、价值函数和策略的有效性。

本文提出了一种统一框架，将贝尔曼方程中的随机性视为外部噪声的确定性函数，支持连续控制策略的学习。介绍了一系列策略梯度算法，从无模型到有模型的方法，仅需环境观察，减少模型误差影响。算法在随机控制问题和物理模拟中应用，特别是SVG（1）在连续领域中有效地学习模型、价值函数和策略。

本文介绍了使用Nesterov的平滑技术和Legendre-Fenchel变换将贝尔曼方程重新构成一个新的原始对偶优化问题，并开发了一个名为平滑贝尔曼误差嵌入的新算法来解决这个优化问题。该算法在几个基准控制问题中表现出色。