使用单模态概率分布对连续动作空间离散化的在线策略强化学习
内容提要
本文探讨了连续控制中动作空间离散化对策略优化的影响，提出了基于神经网络的离散化建模、随机策略表示和带参数的深度 Q 网络（P-DQN）框架等新方法。这些方法在高维连续控制任务中显著提升了性能，并解决了局部最优问题。同时，研究还涉及安全强化学习中的策略分叉现象及其优化算法。
延伸解读
动作空间离散化的关键挑战与解决思路
文章指出，连续控制中动作空间离散化面临离散动作数量爆炸性增长的问题。采用可分解动作分布的策略可以有效解决这一问题，避免维度灾难。此外，在复杂动态高维任务中，通过在策略中使用序数参数化引入自然排序，能够获得性能显著提升。这为高维连续控制提供了一种可行的离散化路径。
随机策略表示与多模态分布建模
文章利用扩散概率模型提出新的随机策略表示方法，并证明其对多模态分布的优越性，进而应用于无模型在线强化学习，提出DIPO算法，在标准连续控制Mujoco基准中取得显著优势。同时，文章还提出通过泊松分布和二项分布约束离散序数概率分布为单峰态的技术，避免交叉熵损失产生不良性质，并在大型序数图像数据集上验证了效果。
安全强化学习中的策略分叉与多模态优化
文章首次发现安全强化学习中的策略分叉现象，并运用拓扑分析严格证明其存在。为了训练这种分叉策略，提出了多模态策略优化（MUPO）算法，利用高斯混合模型分布作为策略输出，成功实现了对分叉策略的学习，并确保了满意的安全性。这一发现为安全强化学习提供了新的视角和解决方案。
基于模型的强化学习与探索效率提升
文章提出重新参数化策略梯度（RPG）方法，将连续RL策略建模为最优轨迹的生成模型，通过潜变量条件化导出变分下界作为优化目标，促进环境探索。RPG利用多模态策略参数化和学习的世界模型，实现强大探索能力和高效数据利用率，在密集奖励任务中避免局部最优，并通过结合面向对象的内在奖励解决稀疏奖励环境，性能优于先前方法。
Q&A
什么是带参数的深度 Q 网络（P-DQN）框架？
带参数的深度 Q 网络（P-DQN）框架用于处理混合行动空间，能够有效结合 DQN 和 DDPG 的优点。
如何通过神经网络模型实现连续动作空间的离散化？
通过预测单个维度的方法对高维空间进行建模，从而实现连续动作空间的离散化。
安全强化学习中的策略分叉现象是什么？
策略分叉现象是指在安全强化学习中，策略输出可能出现多个分支，导致学习过程中的不确定性。
多模态策略优化（MUPO）算法的作用是什么？
MUPO算法用于学习分叉策略，确保在安全强化学习中实现满意的安全性。
重新参数化策略梯度（RPG）方法的优势是什么？
RPG方法提高了探索能力和数据利用率，帮助Agent在稀疏奖励环境中避免局部最优值。
本文提出的离散动作空间树形结构强化学习方法有什么特点？
该方法结合了模型自由与模型驱动学习，采用经验证实的裁剪方法，适应连续控制问题。
