专家混合遇上基于提示的连续学习
内容提要
本文提出了一种基于提示的连续学习新方法，旨在解决模型在不断变化的数据中出现的遗忘问题。通过引入分层提示（H-Prompts）和动态提示（L2P），该方法在多个基准测试中显著提高了准确率，且无需额外可学习参数，计算成本降低约50%。
延伸解读
方法核心：分层提示与动态提示
文章提出的方法结合了分层提示（H-Prompts）和动态提示（L2P）。H-Prompts 包含类提示、任务提示和通用提示，通过贝叶斯分布对齐刻画过去类别知识，跨任务知识挖掘减少遗忘，自监督推导通用知识。L2P 则用于管理任务不变和任务特定知识。两者共同作用，在无需额外可学习参数的情况下提升连续学习性能。
性能表现：准确率与计算效率
在 Split CIFAR-100 和 Split ImageNet-R 基准上，该方法分别达到 87.8% 和 70.6% 的平均准确率。同时，通过单阶段 PCL 框架和查询池正则化损失，计算成本降低约 50%，准确度仅下降不到 1%。在推理阶段，计算成本降低约 50%，且优于之前的两阶段 PCL 方法约 1.4%。
技术背景：连续学习中的提示方法演进
文章回顾了基于提示的连续学习发展，包括 LGCL 引入任务和类别级语言引导、Progressive Prompts 提升 T5 模型平均测试准确性 20% 以上、ConvPrompt 通过卷积提示创建机制提高 SOTA 约 3% 并减少参数开销。这些工作共同推动了连续学习领域对抗灾难性遗忘的进步。
Q&A
什么是基于提示的连续学习方法？
基于提示的连续学习方法是一种通过引入提示来解决模型在不断变化的数据中出现的遗忘问题的技术。
分层提示（H-Prompts）有什么作用？
分层提示（H-Prompts）通过贝叶斯分布对齐过去类别的知识，减少遗忘，并推导出高度概括的通用知识。
该方法在基准测试中的表现如何？
在Split CIFAR-100和Split ImageNet-R上，该方法分别达到了87.8%和70.6%的平均准确率。
引入动态提示（L2P）有什么优势？
动态提示（L2P）可以训练更简洁的神经网络内存系统，管理任务不变和任务特定知识，从而提高分类性能。
该方法如何降低计算成本？
该方法通过消除额外的前馈阶段和引入查询池正则化损失，将计算成本降低约50%。
该方法是否需要额外的可学习参数？
该方法不需要额外的可学习参数，保持了高效性。
