基于 Transformer 的袋装奖励增强学习：面向实例级奖励重新分配的方法
内容提要
本文综述强化学习与Transformer结合的研究：TrMRL利用元强化学习和自注意力提升连续控制性能；Decision Transformer将强化学习建模为序列问题，在Atari等任务上表现领先；后续工作改进离线强化学习、奖励建模与人类反馈，提高样本效率和迁移能力。
延伸解读
从元强化学习到序列建模的演进
文章梳理了Transformer在强化学习中的两条技术路线：TrMRL将元强化学习与自注意力结合，利用工作内存递归构建情境记忆，在高维连续控制中提升收敛和采样效率；Decision Transformer则将强化学习视为序列建模问题，用自回归模型输出动作，在Atari等任务达到领先水平。这反映了强化学习从传统时序差分向序列建模范式的转变。
离线强化学习的序列化改进与挑战
针对离线强化学习，文章提到将多目标优化重新定义为序列建模任务，并引入动作空间区域以解决Transformer注意力权重分配问题；Bootstrapped Transformer通过自举生成伪数据增强训练。这些方法在离线基准上表现优于基线，但伪数据的质量与多样性可能影响最终策略，需关注其泛化风险。
奖励建模的精细化与人类反馈
文章介绍了奖励建模的进展：将非马尔可夫奖励问题转化为多实例学习，把轨迹视为包、步骤视为实例，以捕捉时间依赖；基于奖励机器的任务表示促进知识共享；从人类反馈中利用注意力权重重新分配奖励以突出重要标记。这些方法提高了奖励重建精度和训练稳定性，但依赖高质量反馈数据。
Q&A
TrMRL 是什么？它如何结合 Transformer 和元强化学习？
TrMRL 是一种运用 Transformer 架构的基于元强化学习的代理，它结合了最近的工作内存以递归方式构建情境记忆，并利用 self-attention 机制计算和提供有意义的特征以执行最佳任务。
Decision Transformer 如何将强化学习建模为序列问题？
Decision Transformer 将强化学习抽象为序列建模问题，使用 Transformer 架构和相关的语言建模技术（如 GPT-x 和 BERT），通过自回归模型来输出未来的动作并获得预期回报。
Bootstrapped Transformer 在离线强化学习中有什么作用？
Bootstrapped Transformer 将 bootstrapping 思想和模型自我生成更多离线数据相结合，进一步提高序列模型训练的效果，在两个离线 RL 基准测试中均取得了优于其他强基线方法的效果。
如何将奖励建模应用于处理非马尔可夫奖励的强化学习问题？
将奖励建模应用于处理非马尔可夫奖励的强化学习问题，移除了现有工作假设的独立反馈观察前提，并扩展了奖励建模以捕捉人类对轨迹的时间依赖关系。将其作为多实例学习（MIL）问题，通过将轨迹视为带有返回标签的包，将轨迹中的步骤视为具有未见过奖励标签的实例。
基于奖励机器的任务表示方法如何提高任务转移性能？
该方法使用抽象状态图与任务奖励动态的相互作用诱导子任务，从而实现在不同任务间的知识共享和过程优化的目标。实验测试表明，该方法在各个领域中提高了样本效率和少量训练次数下的转移性能。
从人类反馈中进行强化学习如何通过注意力权重重新分配奖励？
从人类反馈中进行强化学习通过使用注意力权重重新分配奖励以高亮最重要的标记，它在稳定训练、加快学习速度和实现更好的局部最优解方面展现了实证优势。
