反思基于预训练模型的无需排练连续学习的现状
原文中文，约1700字，阅读约需5分钟。
📝
内容提要
本研究探讨了持续学习系统中不同调优方法的影响，提出了Realistic Continual Learning（RealCL）和CLARE模型，旨在整合新知识并减少遗忘。实验证明，LoRA和特征转换调优（FeTT）等方法能提高准确性和性能，强调了大规模预训练模型在持续学习中的重要性。
❓
Q&A
什么是Realistic Continual Learning（RealCL）？
Realistic Continual Learning（RealCL）是一种新的连续学习范式，其中任务之间的类分布是随机的，旨在整合新知识并减少遗忘。
LoRA在持续学习中有什么优势？
LoRA替代Prompt tuning的变体在领域增量和类别增量基准上实现了更高的准确性，同时保持相似的推理速度。
CLARE模型的主要功能是什么？
CLARE模型旨在在保留过去学习的同时整合新知识，经过实验证明其在各种RealCL场景中的有效性和优越性。
什么是特征转换调优（FeTT）模型？
特征转换调优（FeTT）模型通过非参数化微调骨干特征，实现对所有任务的独立操作，并改善模型性能。
无先验连续学习（PFCL）方法的优势是什么？
PFCL方法在三种学习情景中显著减少遗忘现象，并且与有限个先前样本重新训练的方法相比，取得了有竞争力的准确率。
基于预训练模型的持续学习面临哪些挑战？
基于预训练模型的持续学习面临灾难性遗忘的问题，导致模型无法有效地适应新任务而不遗忘以前的知识。
🏷️
