本文综述策略梯度算法研究，提出新理论解释与证明，强调探索与方差适应的历史；改进算法通过参数空间探索、重用离策略数据提升数据效率、降低方差并避免局部最优；研究其可证特征化与逼近保证；提出分布式D4PG、结合PPO的可微环境方法、元学习EPG等，并分析优化器影响与基准挑战。