SLCA++: 释放顺序微调在预训练持续学习中的力量
内容提要
本文介绍了多种针对连续学习的预训练模型方法，如SPeCiaL、ConFiT和HiDe-Prompt。这些方法通过优化学习目标、微调技术和自监督学习，提升了知识保留能力，减少了遗忘现象，并在不同数据集上表现优异。
延伸解读
持续学习方法的演进脉络
文章梳理了从2021年到2024年的多项研究，展示了持续学习领域从定制化预训练（如SPeCiaL）到参数高效微调（如HiDe-Prompt）的演进。早期方法侧重通过元学习或微调策略减少遗忘，后期则更注重利用预训练模型的能力，结合提示学习或统一框架来平衡稳定性和适应性。这一趋势反映了该领域从孤立方法向集成化、高效化方向的发展。
预训练模型在持续学习中的核心作用
多项研究强调了预训练模型对持续学习的重要性。例如，使用非参分类器可以在低计算开销下达到合理性能，而自监督预训练能有效提升下游任务的持续学习效果。此外，避免更新预训练部分并学习新参数的方法，能在不稳定环境中平衡适应性与稳定性。这些发现表明，合理利用预训练模型是缓解灾难性遗忘的关键。
方法对比：从SPeCiaL到HiDe-Prompt
SPeCiaL通过元学习目标定制表示，在连续小样本学习中匹配或超越有监督方法；ConFiT则通过交叉卷积批量规范化和分层微调解决表示转移问题。而HiDe-Prompt采用分层分解和对比正则化，在多个基准上表现优越。这些方法各有侧重，但共同目标是减少遗忘并提升知识保留，读者可根据具体场景选择合适策略。
Q&A
什么是SPeCiaL方法，它的主要目标是什么？
SPeCiaL是一种无监督预训练方法，旨在为连续学习定制表示，快速保留知识并减少遗忘。
ConFiT方法是如何解决表示转移和批量规范化不一致的问题的？
ConFiT方法包含交叉卷积批量规范化和分层微调，旨在解决表示转移和批量规范化不一致的问题。
自监督预训练在持续学习中有什么优势？
自监督预训练能够提高持续学习的效果，有效保留模型先前学习的知识，防止灾难性遗忘。
HiDe-Prompt方法的创新之处是什么？
HiDe-Prompt通过分层分解和对比正则化策略，展示了在持续学习中的优越性能和鲁棒性。
如何通过避免更新预训练部分来改善深度学习模型的适应性？
通过避免更新网络的预训练部分，同时学习新的可学习参数，可以改善细调过程的效果，平衡适应性和稳定性。
本文提出的统一预训练模型框架有什么特点？
该框架通过Hierarchical Decomposition PET方法优化目标，结合任务特定和共享知识，表现出显著优越的性能。
