读动即玩（R2-Play）：多模态游戏指令决策转换器
内容提要
该文综述Transformer与强化学习的结合研究：多用途代理在Atari表现优异；人形机器人通过多模态学习玩井字棋；线性时序逻辑提升文本游戏指令正确率；Actor-Mimic实现多任务迁移；Decision Transformer将强化学习转为序列建模并达领先水平；Transformer处理语言指令与多视角操作；BERT实现零样本指令跟随；深度强化学习提升文本游戏效率；BabyAI任务结合Transformer；离线强化学习重构为序列建模并优化注意力机制。
延伸解读
从多任务到序列建模：强化学习范式的转变
文章梳理了Transformer与强化学习结合的多个研究，从早期Actor-Mimic的多任务迁移，到Decision Transformer将强化学习重构为序列建模问题。这一转变意味着不再依赖传统时序差分学习，而是利用Transformer的自回归能力直接预测动作和回报，在Atari等任务上达到领先水平，为后续研究提供了新思路。
语言指令与多模态交互的进展
文章提到多项研究致力于让智能体理解自然语言指令并执行操作。例如，使用线性时序逻辑提升文本游戏指令正确率，利用BERT实现零样本指令跟随，以及处理多视角场景观察的机器人操作。这些工作表明，结合语言模型和多模态感知，能显著提高智能体在复杂环境中的泛化能力和交互自然度。
离线强化学习与注意力机制的优化
针对离线强化学习，文章介绍了一种将多目标优化重新定义为序列建模任务的方法，并引入动作空间区域来解决Transformer注意力权重分配不均的问题。实验证明，这种改进使模型更有效地利用注意力机制，性能达到或超过当前最先进方法，为离线场景下的强化学习提供了更稳定的解决方案。
Q&A
Decision Transformer 是如何将强化学习转化为序列建模问题的？
Decision Transformer 将强化学习抽象为序列建模问题，使用 Transformer 架构和语言建模技术（如 GPT-x 和 BERT），通过自回归模型输出未来动作并获得预期回报，在 Atari、OpenAI Gym 和 Key-to-Door 等实验中达到业界领先水平。
Actor-Mimic 方法如何实现多任务学习和迁移学习？
Actor-Mimic 通过深度强化学习和模型压缩技术训练一个单一的策略网络，利用多个专家教师的指导学习不同任务中的行为，并使用先前的知识解决新任务。该方法在 Atari 游戏上测试，表征能力可通过无先验的专家指导推广到新任务并加速学习。
在文本游戏中使用线性时序逻辑有什么优势？
线性时序逻辑（Linear Temporal Logic）被用于结构化语言以支持时间上下文语义的指令，通过文字游戏实验验证，该结构化语言指令能有效提高指令正确率，并表现出优越性。
如何让机器人通过多模态交互玩井字棋？
通过多模态深度强化学习、机器人视觉感知和交互等方法，利用语音、视觉和手势等方式，让人形机器人在井字棋游戏中实现高效而自然的交互。
BERT 在指令跟随任务中如何实现零样本迁移？
使用预先训练的文本语言模型（BERT），提出一种简单的方法来训练使用深度强化学习的指令跟踪代理，以适应自然人指令，从而在人类给出自然指令的情况下，实现从合成模板命令到指令的零样本传输。
深度强化学习在文本游戏中面临哪些挑战，如何解决？
深度强化学习在文本游戏中面临样本效率低和复合错误等挑战。通过引入知觉模块以及使用两阶段训练框架，可以显著提高性能和样本效率，并对复合错误和数据有限的预训练表现出鲁棒性。
