P2DT：基于渐进提示的决策 Transformer 对任务增量学习中的遗忘进行缓解
内容提要
该文综述基于预训练Transformer与提示/适配器的持续学习研究：采用Adapters增量训练避免灾难性遗忘；连续提示调优实现知识迁移；Prompt-DT支持离线强化学习少样本适应；L2P动态管理提示以保留任务知识；注意力关键查询缓解过度遗忘；Progressive Prompts提升连续学习准确率；RMDT引入递归记忆；S-Prompting减少领域增量学习中的遗忘；HDT利用超网络适配新任务；动态特殊标记扩展解码器以适应任务分布。
延伸解读
从参数微调到提示管理：持续学习的轻量化路径
文章梳理的多种方法显示，缓解任务增量学习中的遗忘并不一定需要全模型微调。Adapters 通过增量训练避免灾难性遗忘，连续提示调优和 L2P 则用少量可学习参数管理任务知识。这些方案共同指向参数高效的方向，但各自依赖不同的机制，例如提示池或适配器模块，读者需注意其适用场景和实现复杂度差异。
离线强化学习中的少样本适应与记忆增强
Prompt-DT 利用 Transformer 的序列建模和提示框架，在离线强化学习中实现少样本适应；RMDT 则引入递归记忆机制来改善大规模 Transformer 在离线任务上的表现。两者都关注如何让模型在有限数据下泛化，但前者侧重提示驱动的快速适应，后者强调记忆结构对性能的增益，实验均报告了优于同类基线的结果。
领域增量学习中的提示独立学习策略
S-Prompting 针对领域增量学习这一持续学习的典型场景，通过独立学习提示来显著减少遗忘，并报告了该场景下的最佳表现。与 Progressive Prompts 在语言模型领域提升平均测试准确率类似，这些方法都试图在不重放旧数据的前提下保留知识。读者可关注其在不同任务序列长度下的稳定性，以及是否依赖特定模型架构。
Q&A
P2DT 方法如何避免任务增量学习中的灾难性遗忘？
P2DT 基于预训练 Transformer 并扩展 Adapters，通过增量训练模型处理任务序列，从而成功避免灾难性遗忘，并在多个任务上表现良好。
Progressive Prompts 在连续学习中的效果如何？
Progressive Prompts 以前向传递为基础，无需数据重放或大量任务特定参数，能抵御灾难性遗忘。实验表明，相对于 T5 模型的最佳方法，平均测试准确性提高 20% 以上，即使在较长序列任务中也明显优于之前方法。
L2P 方法是如何管理提示以保留任务知识的？
L2P 利用动态提示来训练更简洁的神经网络内存系统，以管理任务不变和任务特定知识，从而在各种挑战性图像分类基准测试中取得比之前最先进方法更好的结果。
S-Prompting 在领域增量学习中有哪些优势？
S-Prompting 范式和两种方法通过独立学习提示，高度减少领域增量学习（DIL）中的遗忘程度，实现了深度神经网络在连续学习最典型场景——领域增量学习中的最佳表现。
RMDT 如何改进离线强化学习的性能？
RMDT（递归记忆决策变换器）使用递归记忆机制用于强化学习问题，旨在改善大规模 Transformer 模型在离线强化学习任务中的表现。实验证明，其性能明显优于没有递归记忆机制的同类模型。
HDT 框架如何适应新任务？
Hyper-Decision Transformer (HDT) 框架提出一个由超网络初始化的适应模块，能够高效适应离线强化学习中的新任务，在任务成功率方面表现出比最先进基线更好的性能。
