通过策略空间中的最优传输测量强化学习中的探索
内容提要
本文综述强化学习中的探索与利用平衡，重点介绍基于最优传输（OT）的多项研究，包括风险感知框架、信息增益规划、熵正则化OT、OTR奖励标记及Sinkhorn映射等，旨在提升样本效率与决策可靠性，并指出未来研究方向。
延伸解读
最优传输为何适合强化学习探索
最优传输（OT）提供了一种比较概率分布的几何工具，这与强化学习中探索的核心需求高度契合：智能体需要评估状态访问分布与目标分布之间的差异。文章综述的多项工作表明，OT 既能作为风险约束的度量，也能作为信息增益规划的目标，还能通过熵正则化和 Sinkhorn 映射嵌入深度网络。这种统一视角让探索不再仅依赖随机噪声或计数，而是有了可优化的分布距离指标。
从风险感知到样本效率的多样应用
文章列举的 OT 应用覆盖了不同侧面：风险感知框架通过 OT 距离约束状态访问分布与期望风险，确保决策可靠性；信息增益规划利用 OT 衡量轨迹信息量，在低样本下学习策略，比探索基线少用 2 倍样本，比模型自由方法少用 200 倍样本；OTR 奖励标记则为离线轨迹分配奖励，并借助少量专家示范。这些案例说明 OT 不是单一算法，而是一类可灵活嵌入不同环节的工具。
实际部署时需关注的限制
尽管 OT 方法在样本效率和风险控制上展现出潜力，但文章也暗示了其计算代价：熵正则化 OT 和 Sinkhorn 映射虽然能加速学习，却引入了额外的超参数和近似误差。此外，OTR 依赖少量高质量专家示范，若示范质量不足，奖励信号可能失真。读者在应用时应权衡 OT 带来的分布约束与端到端训练复杂度，并注意不同任务中风险约束的设定是否合理。
Q&A
强化学习中的探索与利用平衡问题是什么？
探索与利用平衡是强化学习领域中一个著名且被广泛研究的问题，旨在探讨探索策略在在线任务迁移中的作用并分析探索方法的不同之处以期为未来的研究提出方向。
最优传输在强化学习中如何用于风险感知？
通过修改目标函数，提出了一种风险感知的强化学习框架，以确保决策的可靠性，并且在最大化预期回报的同时，尊重通过状态访问分布和期望风险配置之间的OT距离所规定的风险约束。
信息增益规划如何提升强化学习的样本效率？
通过规划最大化任务最优轨迹的期望信息增益的行动序列，使得该方法在较低的样本量下能够学习较强的策略，比探索基线算法少用2倍样本，比模型自由方法少用200倍样本。
熵正则化最优传输在深度强化学习中有什么作用？
利用熵正则化最优传输技术作为深度强化学习网络中的一层，以实现更快速的学习并在端到端训练期间强制执行分配约束和规定，从而对于解决组合优化问题的效率进行优化。
OTR奖励标记算法是什么？它有什么应用？
OTR是一种新颖的算法，用于给离线轨迹分配奖励，并且使用少量高质量的专家示范来帮助计算奖励信号。通过在手术机器人学习领域展示OTR的有效性，强调其多样性和促进强化学习在各个领域上部署的潜力。
Sinkhorn映射如何提高多任务强化学习的数据效率？
通过使用Sinkhorn映射来替换Kullback-Leibler散度，进一步提高多任务强化学习的数据效率，并通过实验证明新增的基于最优传输的奖励可以加速智能体的学习过程，优于多任务学习中的几个基准模型。
