本研究探讨了高维连续动作空间中参数化强化学习的挑战，提出了一种多模式策略和重新参数化策略梯度（RPG）方法，以提高探索能力和数据利用率。实验证明，该方法在稀疏奖励环境中表现优越，有效避免局部最优，提升轨迹生成的稳定性与效率。

本文提出了一种新的计算模型，通过内存网络的检索错误来估计惊喜的新颖性，并通过惊喜记忆（SM）增加基于惊喜的内在动机的能力。实验结果表明，SM在稀疏奖励环境中表现出高效的探索行为，并显著提升了最终性能。