MODULI：通过扩散模型解锁离线多目标强化学习中的偏好泛化
原文中文，约1800字，阅读约需5分钟。
📝
内容提要
本文提出了一种基于广义Bellman方程的多目标强化学习算法，旨在通过少量样本快速适应新任务并生成最优策略。该算法利用偏好指导更新网络参数，并采用新并行化方法提高采样效率，适用于连续机器人任务。同时，研究探讨了离线强化学习中的分布偏移问题，提出新方法以改善策略学习效果，并在多个基准任务上取得了先进结果。
🔎
延伸解读
离线多目标强化学习的核心挑战
文章指出，离线多目标强化学习面临两大挑战：一是分布偏移，即训练数据与策略执行时的状态分布不一致；二是偏好不一致演示，即演示数据可能来自不同偏好，导致策略学习困难。这些挑战在仅使用离线数据时尤为突出，因为无法通过在线交互纠正。
扩散模型在离线强化学习中的应用
文章提到，扩散模型被用于离线强化学习中以表示多模态行为策略，但既往方法未针对缓解分布偏移和状态泛化进行优化。新方法通过引入状态重构特征学习，促进更具描述性的状态表示，从而减轻分布外状态引起的分布偏移，并在D4RL基准上取得先进结果。
偏好泛化与策略正则化
为了实现偏好泛化，文章将偏好条件化的标量化更新与策略正则化结合，使用单个策略网络学习一组策略，减少训练多个策略的计算成本。同时，引入正则化权重适应机制，在部署时动态确定任意目标偏好的正则化权重，以应对偏好不一致问题。
❓
Q&A
什么是基于广义Bellman方程的多目标强化学习算法？
该算法能够通过少量样本快速适应新任务并生成最优策略，利用偏好指导更新网络参数。
该算法如何提高采样效率？
算法采用新并行化方法来提高采样效率，覆盖整个偏好空间。
离线强化学习中的分布偏移问题是什么？
分布偏移问题是指在训练过程中由于缺乏在线交互而导致的策略学习效果下降。
如何改善离线强化学习的策略学习效果？
提出新方法将状态重构特征学习纳入扩散策略，以减轻分布外状态引起的分布偏移。
该算法在基准任务上的表现如何？
在多个基准任务上，该算法取得了先进结果，展示了其有效性和适用性。
如何处理偏好不一致的演示问题？
通过近似行为偏好过滤偏好不一致的演示，并采用高策略表达能力的正则化技术。
🏷️
