决策变压器作为部分可观测连续控制的基础模型
内容提要
本文介绍了决策 Transformer（DT）及其在强化学习中的应用，提出了一种基于序列建模的框架，展示了DT在多个基准测试中的优越性能。研究探讨了通过联合优化策略提升算法效果，并提出了新的离线强化学习方法图决策 Transformer（GDT），在视觉任务中表现出色。
延伸解读
从DT到GDT：序列建模的演进
文章梳理了决策Transformer（DT）及其后续变体的发展脉络。DT将强化学习抽象为序列建模问题，利用Transformer架构和自回归模型输出动作，在Atari等基准测试中达到领先水平。在此基础上，图决策Transformer（GDT）将输入序列建模为因果图，以捕捉不同概念间的潜在依赖，促进时间和因果关系的学习，在视觉任务中表现优异。这一演进显示了序列建模框架在离线强化学习中的持续潜力。
分层强化学习与拼接能力
文章指出，通过分层强化学习进行顺序决策，并联合优化高层和低层策略，可以实现拼接能力，即组合不同轨迹中的子策略以完成新任务。这种能力对于离线强化学习尤为重要，因为离线数据通常来自多种行为策略。所提出的算法在多个控制和导航基准测试中明显优于DT，表明联合优化策略是提升性能的有效途径。
离线强化学习的多样化探索
除了DT和GDT，文章还提及了多个相关方法，如Prompt-DT实现少样本适应、Hyper-Decision Transformer（HDT）通过超网络初始化适应模块、Decision ConvFormer（DC）使用多实体并行处理、以及弹性决策变换器（EDT）在测试时调整历史长度以促进轨迹拼接。这些工作从不同角度探索了Transformer在离线强化学习中的应用，共同推动了该领域的发展。
可验证性与实际部署考量
文章提到将神经网络控制器转换为软决策树控制器以提高可验证性并减小意外行为风险。在包含ReLU和argmax的离散输出控制器上，转换算法能实现精确剪枝，在MountainCar-v0和CartPole-v0上运行时分别提升21倍和2倍。这表明，在追求性能的同时，可验证性和效率也是强化学习实际部署中需要关注的方向。
Q&A
决策 Transformer（DT）是什么？
决策 Transformer（DT）是一种利用转换器架构的创新算法，应用于强化学习中的顺序决策问题。
图决策 Transformer（GDT）有什么特点？
图决策 Transformer（GDT）将输入序列建模为因果图，促进时间和因果关系的学习，并在视觉任务中表现出色。
如何通过联合优化策略提升算法效果？
通过联合优化高层和低层策略，可以实现拼接能力，从而提升算法的整体效果。
决策 Transformer 在基准测试中的表现如何？
决策 Transformer 在多个控制和导航基准测试中表现优于传统方法，显示出其优越性能。
离线强化学习的新方法有哪些？
新方法包括图决策 Transformer（GDT），它在视觉任务中表现出色，并与最先进的离线强化学习方法相媲美或超越。
决策 Transformer 如何应用于强化学习？
决策 Transformer 通过序列建模框架，将强化学习抽象为序列建模问题，利用自回归模型输出未来动作。
