持续扩散模型（CoD）：通过经验重播掌握持续离线强化学习
内容提要
本文综述了非不变强化学习的不同方法与公式，探讨了评估指标和研究前景。介绍了基于扩散模型的多任务学习方法，提出了改进的生成轨迹能力的模型，并讨论了在强化学习中应用扩散模型的挑战与成功案例。研究表明，改进的方法在学习效率和记忆效率上优于现有基准。
延伸解读
持续离线强化学习的核心挑战
文章指出，持续离线强化学习需同时应对前向迁移和灾难性遗忘。前向迁移要求利用旧任务知识加速新任务学习，而灾难性遗忘则指学习新任务时旧任务性能急剧下降。这两者相互制约，是持续学习领域的根本矛盾。文章通过双生成重播框架，尝试在保留旧知识的同时促进新任务学习，为这一矛盾提供了新的解决思路。
扩散模型在强化学习中的角色分类
文章将扩散模型在强化学习中的应用按角色分类，包括作为规划器、数据生成器和策略表示等。例如，MTDiff利用扩散模型进行多任务规划，MetaDiffuser作为条件规划器生成任务特定轨迹，而双生成重播框架则用扩散模型生成伪数据以回放旧任务。这种分类有助于理解扩散模型如何增强强化学习的生成能力和知识保留。
决策Transformer的遗忘问题与改进
文章比较了决策Transformer（DT）与基于演员-评论者结构和经验回放的方法，发现DT在学习效率、分布转移缓解和零-shot泛化方面具有优势，但在监督参数更新时会加剧遗忘。为此，文章引入多头DT和低秩自适应DT来减轻遗忘。这表明，尽管DT在持续离线强化学习中潜力巨大，但需针对遗忘问题进行专门设计。
双生成重播框架的机制与效果
双生成重播框架将连续学习策略解耦为基于扩散的生成行为模型和多头行动评估模型。通过训练任务条件的扩散模型模拟过去任务的状态分布，生成高保真伪样本，并与新任务真样本交错更新，从而在保留旧知识的同时逐步多样化行为建模。实验证明，该方法在前向迁移上表现更好，且样本重放效果接近使用真实数据。
Q&A
什么是持续扩散模型（CoD）？
持续扩散模型（CoD）是一种通过经验重播来掌握持续离线强化学习的方法，旨在提高学习效率和记忆效率。
扩散模型在强化学习中的应用面临哪些挑战？
扩散模型在强化学习中的应用面临的挑战包括如何有效生成轨迹和应对灾难性遗忘等问题。
MTDiff模型的优势是什么？
MTDiff模型利用扩散模型生成计划和数据合成，能够在多任务学习中实现更好的生成计划效果，优于现有算法。
MetaDiffuser模型如何解决任务间的规划问题？
MetaDiffuser模型通过生成针对特定任务的轨迹，解决了离线meta-RL中的通用性问题，表现优于其他基线模型。
如何通过双生成重播框架来减轻遗忘问题？
双生成重播框架通过重播生成的伪数据来保留先前的知识，从而减轻遗忘问题，并提高前向转移效果。
决策Transformer（DT）在学习效率上有什么优势？
决策Transformer（DT）在学习效率、分布转移缓解和零-shot泛化方面具有优势，但在监督参数更新时可能加剧遗忘问题。
