INCPrompt：面向任务感知的递增提示的无预演练类递增学习
内容提要
该文综述基于提示学习的持续学习方法，以缓解灾难性遗忘。代表性方案包括：L2P通过动态提示池管理任务不变与特定知识；DualPrompt无需回放缓冲即可学习任务指示；Progressive Prompts将语言模型准确率提升逾20%；Fed-CPrompt应对联邦持续学习中的遗忘问题；FCILPT、APG、CPP分别改进类增量学习、自适应提示生成与对比原型，在多项基准测试中显著优于现有方法。
延伸解读
提示学习为何能缓解灾难性遗忘
文章综述的多种方法均以提示学习为核心，通过为不同任务学习特定提示或提示池，将任务知识编码在少量参数中，从而避免微调整个模型导致的旧任务遗忘。例如L2P用动态提示池管理任务不变与特定知识，DualPrompt无需回放缓冲即可学习任务指示。这种参数高效的方式在图像分类等基准上表现优于此前方法，说明提示可作为隔离任务知识的有效载体。
无需回放的持续学习方案对比
文中多个方案强调无需 rehearsal buffer，如DualPrompt、CPP和Fed-CPrompt。CPP通过对比原型提示在类增量学习基准上缩小了与联合学习的差距；Fed-CPrompt则针对联邦场景下的异步任务到达和异构数据分布，用异步提示学习和对抗持续损失应对遗忘。这些方案表明，在不存储旧数据的前提下，提示机制结合对比学习或联邦优化，能有效缓解遗忘并保持通信效率。
不同场景下的方法选择与局限
文章覆盖了图像分类、语言模型和对话状态跟踪等场景。Progressive Prompts在T5模型上平均测试准确率提升逾20%，但依赖前向传递且无需数据重放；FCILPT针对非独立分布数据和新类别到来改进类增量学习；APG则在无强预训练条件下表现更优。读者需注意，各方法在特定基准上有效，但跨场景迁移性和对预训练模型的依赖程度不同，实际应用时应结合任务序列长度和数据分布评估。
Q&A
什么是基于提示的持续学习？它主要解决什么问题？
基于提示的持续学习是一种利用提示学习技术进行持续学习的方法，旨在缓解灾难性遗忘问题。它通过管理任务不变和任务特定的知识，使模型在学习新任务时不忘旧任务。
L2P方法是如何工作的？它有什么优势？
L2P利用动态提示池来训练更简洁的神经网络内存系统，以管理任务不变和任务特定知识。它在各种挑战性的图像分类基准测试中取得了比之前最先进方法更好的结果。
DualPrompt在持续学习中有什么特点？
DualPrompt提出了一种无需rehearsal buffer的连续学习框架，通过学习使用预训练模型进行有序任务学习的任务不变和任务特定的指示来达到目的，表现出卓越的性能。
Progressive Prompts方法在语言模型持续学习中的效果如何？
Progressive Prompts方法以前向传递为基础，无需数据重放或大量任务特定参数，有助于抵御灾难性遗忘。实验表明，相对于T5模型的最佳方法，平均测试准确性提高了20%以上，即使在较长序列的任务中也明显优于之前的方法。
Fed-CPrompt如何解决联邦持续学习中的遗忘问题？
Fed-CPrompt利用提示学习技术以通信有效的方式获取任务特定提示，其两个关键组成部分异步提示学习和对抗持续损失分别处理异步任务到达和异构数据分布，实验证明其在无需重复学习的联邦持续学习性能上达到最先进水平。
FCILPT方法在类增量学习中有什么改进？
FCILPT通过使用提示来减轻旧类别的灾难性遗忘，将与任务相关和任务不相关的知识编码到提示中，解决了非独立分布的数据和新类别到来导致的问题。在CIFAR-100、Mini-ImageNet和Tiny-ImageNet的实验证明其相比现有方法取得了显著的准确性改进。
APG方法如何降低任务间差距对模型性能的影响？
APG提出了一种可学习的自适应提示生成器，通过将提示的检索和学习过程统一为可学习的提示生成器，以降低任务之间的差距对模型性能的负面影响。在无（强）预训练条件下，在递增学习中明显优于先进方法。
CPP方法在类增量学习中的表现如何？
CPP方法通过任务特定的提示调整，在对比学习目标优化的基础上，有效地解决了随时间推移和原型干扰所导致的性能恶化问题。在四项具有挑战性的类增量学习基准测试中表现出色，不需要排练缓冲区，并且在连续学习和线下联合学习之间大大缩小了性能差距。
